Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Qwen3.8 Flash Next en IQ3_S tourne sur 16 Go de VRAM à 262 tok/s

Avec une RTX 5080 16 Go, un Core Ultra 9 285K et 62 Go de DDR5, Qwen3.8-Flash-Next en quantification IQ3_S tourne sur le moteur Basalt en 262K de contexte avec un KV cache int8. Sur une session de codage agentique (103 requêtes, jusqu'à 130K de contexte), le traitement de prompt atteint 5 011 t/s en moyenne et 5 118 en pic, la génération 153 t/s en moyenne pour 262 en pic, et 5,2 Go de RAM restent libres.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérielopen-sourceagentsdev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.