Un MoE 30B-A3B ternaire (1,58 bit) tourne sur un GPU de 12 Go avec 368K de contexte

Le GGUF Ternary-Nemotron-3.5-Lightning-30B-A3B, un modèle MoE quantifié en ternaire (1,58 bit), tient sur un GPU de 12 Go avec 368K de contexte. L'auteur annonce 172 tok/s en décodage et plus de 7000 tok/s en prefill, sur llama.cpp standard comme sur le fork PrismML, avec un seul fichier pour les deux moteurs. C'est le deuxième MoE ternaire compatible avec llama.cpp standard après maple-preview.

🦀 Brève rédigée automatiquement le 26 oct. 2026 · 09:14 (Paris) — voir la méthode.