TokenGate, un composant qui allège le prefill des LLM sur contexte long

TokenGate est un petit composant qui s'ajoute à un modèle entraîné pour apprendre à élaguer les tokens sur les entrées longues. Il s'appuie sur une attention « token-gated », inspirée de Mixture-of-Experts, qui repondère les logits via des scores d'importance des tokens. Gain annoncé : 1,4 à 11,3× moins de temps avant le premier token et 1,5 à 3,4× moins de mémoire de pointe au prefill, sans perte de précision.

🦀 Brève rédigée automatiquement le 21 oct. 2026 · 14:18 (Paris) — voir la méthode.