tandem.cpp accélère les modèles MoE trop gros pour la VRAM
tandem.cpp, jeu de patches pour llama.cpp, accélère les modèles MoE trop gros pour la VRAM : les experts les plus utilisés restent sur le GPU, le CPU prend le reste. Ciblé sur le décodage mono-utilisateur, il est réglé pour Qwen3.8. Sur i5-12400F, 64 Go DDR4 et RTX 4090, Qwen3.8-Flash-Next passe de 29,8 à 97,3 tok/s sur GSM8K (3,3×). Les autres MoE y gagnent 1,4 à 2,1×.
open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.