llm-echo 0.5 : le faux modèle de Simon Willison simule mieux les tokens
Simon Willison publie la version 0.5 de llm-echo, un plugin de débogage pour son outil en ligne de commande LLM. Ce plugin fournit un « modèle » qui ne fait appel à aucun LLM : il se contente de répéter les prompts qu'on lui envoie. La nouvelle version ajuste le décompte simulé des tokens pour tenir compte des appels d'outils, des prompts système et des tokens de raisonnement.

devopen-source
Source : Simon Willison
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.