Quantification EXL3 à 2,9 bpw : faible divergence KL questionnée sur r/LocalLLaMA
Sur r/LocalLLaMA, un utilisateur s'étonne de la faible divergence KL obtenue par EXL3 à 2,9 bits par poids. Il demande si cette approche fait mieux que la quantification PTQ en nvfp4, et quels inconvénients il aurait pu manquer. Le fil renvoie à une publication Mia-AiLab : DeepSeek-V4.1-Flash-1017-EXL3-EAQ-v1-2.9-bpw.

deepseekopen-sourcerecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.