ReaDy exploite les états récurrents des modèles HLA pour la décodification spéculative
La décodification spéculative produit plusieurs tokens par étape, mais les drafters basés sur les features du modèle cible alignent mal leur contexte sur les positions suivantes. ReaDy exploite les états récurrents compacts des modèles à attention linéaire hybride (HLA), qui accumulent les associations historiques. Chaque position de draft sonde ces états via une requête apprise, et un lecteur léger intègre le contexte.
recherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.