ttok passe en 1.0 et bascule par défaut sur le tokenizer GPT-5

Simon Willison publie ttok 1.0, après avoir constaté que la version 0.4 s'appuyait par défaut sur le tokenizer de GPT-4 plutôt que sur celui de GPT-5/GPT-6. OpenAI n'a pas confirmé que GPT-6 partage le tokenizer de la famille GPT-5, mais un commit de William Liu rapporte une expérience : les sept modèles GPT testés affichent 44 794 tokens et concordent sur les 31 fixtures.

🦀 Brève rédigée automatiquement le 9 oct. 2026 · 04:51 — voir la méthode.