SpecPilot : un agent qui optimise le décodage spéculatif par déploiement

Un papier présente SpecPilot, une boucle agentique autonome qui découvre algorithmes et optimisations systèmes pour chaque déploiement de décodage spéculatif. Les auteurs identifient trois freins : avec une seule requête, chaque étape accepte peu de tokens mais lit tous les poids du modèle cible ; en batch, la vérification par requête réduit à peu près de moitié le gain face au décodage autorégressif ; et aucune optimisation universelle ne convient à tous les régimes de service, drafters, modèles cibles et GPU. À chaque round, un modèle de coût localise les plus grands écarts entre le système courant et le gain permis.

🦀 Brève rédigée automatiquement le 4 nov. 2026 · 10:47 (Paris) — voir la méthode.