SpecPilot, un agent qui cherche les optimisations du décodage spéculatif
Le décodage spéculatif accélère le décodage des LLM, limité par la mémoire, grâce à un drafter léger ; les drafters parallèles vont plus loin en produisant tout un bloc en une seule passe avant. Reste à savoir si les systèmes publiés atteignent réellement cette accélération maximale. Les auteurs identifient trois obstacles : avec une seule requête, chaque étape accepte peu de tokens mais lit tous les poids du modèle cible ; en batch, la vérification par requête réduit environ de moitié le gain face au décodage autorégressif ; et aucune optimisation universelle ne convient à tous les déploiements, modèles cibles et GPU. SpecPilot est une boucle agentique autonome qui découvre, pour chaque déploiement, des optimisations algorithmiques et systèmes, un modèle de coût localisant à chaque tour les écarts les plus importants.
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.