MACaQ, la méthode de quantization de Huawei qui bat Unsloth sur les GGUF
MACaQ, méthode de quantification de Huawei, revendique une divergence KL plus faible que les GGUF d'Unsloth et de Bartowski. Sur Qwen3-4B en IQ4_XS, à taille quasi identique, elle affiche 0,02804 de KL moyen : 23,5 % de moins qu'Unsloth, 18,6 % de moins que Bartowski. Sur Qwen3.8-27B, l'écart atteint environ 65 % face à Bartowski. Code, fork de llama.cpp et benchmarks sont publiés sur GitHub.

open-sourcerecherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.