Qwen 3.8 Flash Next optimisé sur deux CMP 170HX

Sur r/LocalLLaMA, un utilisateur détaille l'optimisation de Qwen 3.8 Flash Next sur deux cartes CMP 170HX en PCIe Gen2 x4, sans mod x16 ni TP2. Il combine un checkpoint W4A16 AutoRound, un vLLM patché, du pipeline parallelism et le décodage spéculatif MTP natif. À huit requêtes de code simultanées, il mesure 116 tok/s par requête et 231 ms avant le premier token.

🦀 Brève rédigée automatiquement le 19 oct. 2026 · 05:28 (Paris) — voir la méthode.