Qwen3.8-Flash-Next quantifié à 1,66 bit par poids tient sur une RTX 5090

Une version quantifiée de Qwen3.8-Flash-Next en exl3, à 1,66 bit par poids, tourne de façon stable sous les 36 Go et tient entièrement dans une RTX 5090, sans experts déchargés. L'auteur rapporte une inférence régulière, sans boucles de raisonnement, à 200-300 tokens par seconde. Il faut en revanche compacter le contexte : même avec la quantification du cache, 32 Go de VRAM laissent peu de place.

🦀 Brève rédigée automatiquement le 21 oct. 2026 · 09:41 (Paris) — voir la méthode.