DeepSeek-V4.1-Flash en 2 bits : les GGUF GSQ-RCO d'ISTA questionnés
Un utilisateur de r/LocalLLaMA demande si les GGUF GSQ-RCO d'ISTA pour DeepSeek-V4.1-Flash tiennent vraiment leurs benchmarks, où la quantification IQ2_XXS égale le modèle de base. Il note que ces benchmarks sont saturés (90 % et plus, AIME25 à 100 pour toutes les versions) et qu'aucun KLD n'est publié pour ces modèles. Il cherche donc des mesures KLD ou PPL à environ 2 bits par poids.

deepseekopen-sourcerecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.