Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

tandem.cpp accélère les modèles MoE trop gros pour la VRAM

tandem.cpp, un ensemble de patches pour llama.cpp, garde les experts « chauds » des modèles MoE sur le GPU et laisse le CPU traiter le reste. Sur un PC à 64 Go de RAM avec une RTX 5070 Ti 16 Go, DeepSeek-V4.1-Flash en IQ2_XS passe de 7,4 à 14,2 tokens/s face à llama.cpp, et devance aussi Strata (10,4). Le modèle, deux fois plus gros que la RAM, est streamé depuis le SSD. Sur une machine à 32 Go, Qwen3.8-Flash-Next monte à 34,3 tok/s contre 14,9 pour llama.cpp.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
deepseekopen-sourcematérieldev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.