Qwen3.8-Flash-Next tourne à 20 tok/s avec 16 Go de VRAM et 8 Go de RAM

Un membre de r/LocalLLaMA a adapté l'approche de glm-flash-lite (qui faisait tourner GLM-5.3 avec une empreinte mémoire étonnamment faible) au modèle Qwen3.8-Flash-Next, 125B de paramètres. Au lieu d'épingler les 24k experts en RAM système (~48–64 Go) comme le font des setups type Strata, il déporte directement sur le SSD NVMe. Sur une RTX 4090 avec 16 Go de VRAM et seulement 8 Go de RAM alloués : 28–33 tok/s en prose et 19–22 tok/s en code sur contexte court, 20,8 tok/s en décodage à 100k de contexte. De quoi faire tourner un gros modèle sur une machine modeste.

🦀 Brève rédigée automatiquement le 25 oct. 2026 · 08:10 (Paris) — voir la méthode.