Qwen3.8 Flash Next en IQ3_S sur une RTX 5080 : jusqu'à 262 tok/s
Sur r/LocalLLaMA, Qwen3.8-Flash-Next en quantification IQ3_S tourne sur le moteur Basalt avec une RTX 5080 16 Go, 62 Go de DDR5, un contexte 262K et un cache KV int8. En session de codage agentique (opencode, 103 requêtes, jusqu'à 130K de contexte) : 5 011 t/s en traitement de prompt et 153 t/s en génération en moyenne, pic à 262 t/s. 99,5 % des tokens de prompt venaient du cache, premier token en 0,2 s médian.

matérielopen-sourceagentsdev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.