DeepSeek V4.1 Flash quantifié à 2,61 bpw : 26 t/s sur deux RTX 3090
Un utilisateur a produit une quantification 2,6 bits de DeepSeek-V4.1-Flash-1017 avec le moteur dsx de lxe, destinée au code et aux tâches agentiques. D'après ses mesures, ce build atteint 82,59 % de Top-1 pour une perplexité de 9,36, contre 71,5 % et 11,66 pour un build à 2,03 bpw. Sur son matériel (2x RTX 3090, 192 Go de DDR5), la génération tourne à 26 t/s en contexte 262 144 avec les tables Engram. Le moteur ne gère pas encore les images.

deepseekopen-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.