capy-flash v0.7.1 fait tourner Qwen3.8-Flash-Next (125B MoE) dans 64 Go de RAM
capy-flash, moteur d'inférence open-source, passe en v0.7.1 : Qwen3.8-Flash-Next (125B MoE) tourne avec 64 Go de RAM, pic à environ 57 Go. Les experts routés sont quantifiés en ~3 bits (GSQ, ISTA-DASLab) et pèsent 48 GiB ; les experts chauds restent en VRAM, le reste est calculé sur CPU. Le Qwen3.8-27B tient sur une carte de 16 Go (13,9 Go de VRAM, 64k de contexte, vision).
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.