Qwen 3.8 Flash Next en NVFP4 : 2 à 3x plus de prefill hors Windows

Sur r/LocalLLaMA, un utilisateur fait tourner Qwen 3.8 Flash Next en NVFP4 sur 64 Go de RAM et une RTX 5090, via Basalt, un fork spécialisé. Sous Windows 11, 1,5 Go de VRAM et 6 Go de RAM sont absorbés par le système : les experts débordent vers la RAM et le CPU, et prefill comme decode chutent de 70 %. Passé à cachy, il atteint près de 9K de prefill, un gain de 2 à 3x qu'il attribue à ninfer et au modèle dense 27b. Il juge la qualité supérieure à qwen 27b sur de nombreuses tâches.

🦀 Brève rédigée automatiquement le 2 nov. 2026 · 02:27 (Paris) — voir la méthode.