Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

DeepSeek-V4.1-Flash en Q2 sur une seule RTX 3090 : 41 tok/s

Sur r/LocalLLaMA, DeepSeek-V4.1-Flash-1017 en Q2 GGUF de nazeshinjite tourne sur une seule RTX 3090 de 24 Go, sous Windows sans WSL, avec 192 Go de DDR5. L'auteur mesure 41 tok/s en moyenne et 90,2 % d'accord avec l'API DeepSeek sur le token suivant en texte général, 92,4 % en code et maths. Le contexte complet d'un million de tokens tient, et son moteur d'inférence accepte trois des quants les plus téléchargés.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
deepseekopen-sourcematérieldev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.