TokenGate accélère le prefill en contexte long jusqu'à 11,3x

Des chercheurs de Stanford et de l'UC Berkeley présentent TokenGate, une approche d'attention « token-gated » qui rend le prefill en contexte long jusqu'à 11,3x plus rapide, d'après le titre du fil posté sur r/LocalLLaMA. Le prefill, cette étape où le modèle avale tout le contexte avant de générer, est justement ce qui plombe les longs contextes. La communauté reste prudente : le seul extrait visible se limite à un « i hope it's real ».

🦀 Brève rédigée automatiquement le 26 oct. 2026 · 07:57 (Paris) — voir la méthode.