Basalt : record de génération pour Qwen3.8 Flash Next en IQ3_S sur une RTX 5080
Le fork Strata de Basalt annonce un nouveau record pour le modèle Qwen3.8 Flash Next en quantification IQ3_S, sur une seule RTX 5080 de 16 Go épaulée par 64 Go de DDR5 6400 et un Core Ultra 9 285K. Le traitement de prompt atteint 5 500 tok/s, la génération jusqu'à 275 tok/s sur le code et les appels d'outils, et 190 tok/s pour les traces de raisonnement, mesurés pendant une session live d'opencode. Certaines PR d'optimisation sont encore en attente, mais l'amont bénéficie déjà de gains et d'optimisations mémoire. La quantification IQ3_S est jugée pleinement utilisable.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.