Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

Simon Willison·

llm-echo 0.5 : le faux modèle de Simon Willison simule mieux les tokens

Simon Willison publie la version 0.5 de llm-echo, un plugin de débogage pour son outil en ligne de commande LLM. Ce plugin fournit un « modèle » qui ne fait appel à aucun LLM : il se contente de répéter les prompts qu'on lui envoie. La nouvelle version ajuste le décompte simulé des tokens pour tenir compte des appels d'outils, des prompts système et des tokens de raisonnement.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
devopen-source

Source : Simon Willison

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.