tandem.cpp accélère les modèles MoE trop gros pour la VRAM
tandem.cpp, un ensemble de patches pour llama.cpp, garde les experts « chauds » des modèles MoE sur le GPU et laisse le CPU traiter le reste. Sur un PC à 64 Go de RAM avec une RTX 5070 Ti 16 Go, DeepSeek-V4.1-Flash en IQ2_XS passe de 7,4 à 14,2 tokens/s face à llama.cpp, et devance aussi Strata (10,4). Le modèle, deux fois plus gros que la RAM, est streamé depuis le SSD. Sur une machine à 32 Go, Qwen3.8-Flash-Next monte à 34,3 tok/s contre 14,9 pour llama.cpp.

deepseekopen-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.