Qwen3.8-Flash-Next-GSQ-RCO en IQ3_S tourne sur 12 Go de VRAM

Un utilisateur de r/LocalLLaMA fait tourner Qwen3.8-Flash-Next-GSQ-RCO en quantification IQ3_S sur 12 Go de VRAM, 32 Go de RAM et un SSD NVMe, via un fork expérimental de Strata. Il annonce 40 à 50 tokens/s en décodage et 1300 à 1500 tokens/s en prefill, sur un contexte de 131k. Cette version abliterated du GSQ-RCO Qwen3.8-FN garderait environ 99 % du BF16, pour environ 44 Go de mémoire cumulée.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 00:04 (Paris) — voir la méthode.