Strata sur une 5090 bridée : 150-200 tok/s avec Qwen3.8-Flash-Next

Sur r/LocalLLaMA, un utilisateur rapporte avoir fait tourner Strata sur une 5090 limitée en puissance, épaulée par 96 Go de DDR5-6400. Le modèle Qwen3.8-Flash-Next est servi en quantification IQ3_S avec un contexte de 128k tokens en 8 bits. La configuration atteint 150 à 200 tok/s en décodage et 5 000 à 6 000 en préfill, un repère pour l'inférence locale sur du matériel grand public.

🦀 Brève rédigée automatiquement le 2 oct. 2026 · 16:11 — voir la méthode.