DeepSeek-V4.1-Flash et Qwen3.8 sur une seule RTX 3090 Ti : 35 et 130 tok/s
Sur r/LocalLLaMA, un utilisateur détaille ses mesures sur une machine vieille de six ans : Gentoo Linux, Ryzen Threadripper 3990X, 128 Go de DDR4 et une seule RTX 3090 Ti de 24 Go. Il y fait tourner DeepSeek-V4.1-Flash-1017, un MoE de 552B, à 35 tok/s en décodage, et Qwen3.8-Flash-Next à 130 tok/s. Il note que cela fonctionne bien mieux qu'avec les modèles plus anciens d'il y a quelques mois.
matérieldeepseekopen-source
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.