Passer de 32 à 64 Go de RAM fait tourner Qwen3.8-Flash-Next en 4 bits sur une RTX 4090

Un utilisateur de r/LocalLLaMA est passé de 32 à 64 Go de DDR5-5800 sur sa machine (RTX 4090 24 Go, i9-14900K, Arch) et a pu abandonner la quantification IQ2_XS au profit de Unsloth UD-IQ4_XS. Son budget de 40 GiB de RAM pour les experts, complété par les 24 Go de la carte, suffit : le journal indique 40,00 GiB d'experts en RAM et aucune lecture depuis le SSD SATA. Avec Strata 0.1.45 en contexte natif de 262K, il mesure 87 à 98 t/s en décodage et retrouve l'aiguille sur des tests de 36K et 136K tokens, avec un taux de succès du cache d'experts d'environ 91 %.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 23:12 (Paris) — voir la méthode.