DeepSeek-V4.1-Flash en Q2 sur une seule RTX 3090 : 41 tok/s
Sur r/LocalLLaMA, DeepSeek-V4.1-Flash-1017 en Q2 GGUF de nazeshinjite tourne sur une seule RTX 3090 de 24 Go, sous Windows sans WSL, avec 192 Go de DDR5. L'auteur mesure 41 tok/s en moyenne et 90,2 % d'accord avec l'API DeepSeek sur le token suivant en texte général, 92,4 % en code et maths. Le contexte complet d'un million de tokens tient, et son moteur d'inférence accepte trois des quants les plus téléchargés.

deepseekopen-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.