capy-flash fait tourner Qwen3.8-Flash-Next 125B en NVFP4 sur deux GPU 16 Go

capy-flash, évolution du moteur ninfer-tp2, fait tourner Qwen3.8-Flash-Next 125B-A6B en NVFP4, experts déchargés en RAM, sur deux GPU grand public de 16 Go en tensor parallel, avec le checkpoint NVFP4 officiel de NVIDIA. Un flag suffit pour revenir à Qwen3.8-27B. Sur 2× RTX 5070 Ti, l'auteur mesure ~100 tok/s en génération contre 78 pour Strata, et ~3,4k tok/s en prefill sur un prompt de 15k.

🦀 Brève rédigée automatiquement le 15 oct. 2026 · 22:13 — voir la méthode.