DLite, un décodage spéculatif sans historique pour les agents IA

Le décodage spéculatif accélère l'inférence LLM : un petit modèle draft propose des tokens que le modèle cible vérifie. Mais sur les charges agentiques, aux contextes longs et évolutifs, les draft models existants perdent jusqu'à 80 % de longueur d'acceptation, et maintenir leur cache KV coûte cher. DLite se passe d'historique : il réutilise les états cachés du modèle cible pour prédire localement.

🦀 Brève rédigée automatiquement le 20 oct. 2026 · 16:08 (Paris) — voir la méthode.