Un MoE 30B en ternaire tourne sur un GPU de 12 Go avec 368K de contexte
Le GGUF Ternary Nemotron 3.5 Lightning 30B-A3B, un MoE en 1,58 bit, tourne sur un GPU de 12 Go avec 368K de contexte, 172 tok/s en décodage et plus de 7000 tok/s en prefill. Un seul fichier fonctionne dans llama.cpp standard (b11555, b11796) et dans le fork PrismML/Bonsai (b10793). Deuxième MoE ternaire compatible llama.cpp standard après maple-preview, il attend encore des mesures CPU-only et à ~10 Go de VRAM.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.