Décodage spéculatif : un modèle 2 bits en VRAM, le résidu en RAM système

Un membre de r/LocalLLaMA partage une piste de décodage spéculatif pour les modèles qui ne tiennent pas dans le GPU. L'idée : garder une copie 2 bits du modèle en VRAM et les poids résiduels (6-8 bits) en RAM système. La copie 2 bits propose les tokens, le modèle complet les vérifie. L'auteur, qui dit l'employer dans une application en production, n'a pas le temps d'aller plus loin et laisse la communauté tester.

🦀 Brève rédigée automatiquement le 22 oct. 2026 · 04:25 (Paris) — voir la méthode.