Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Quantification EXL3 à 2,9 bpw : faible divergence KL questionnée sur r/LocalLLaMA

Sur r/LocalLLaMA, un utilisateur s'étonne de la faible divergence KL obtenue par EXL3 à 2,9 bits par poids. Il demande si cette approche fait mieux que la quantification PTQ en nvfp4, et quels inconvénients il aurait pu manquer. Le fil renvoie à une publication Mia-AiLab : DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw.

Illustration générée : réseau abstrait générique.
Illustration générée localement — réseau numérique (repli générique). Schéma symbolique, pas une photographie.
deepseekopen-sourcerecherche

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.