Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

MACaQ, la méthode de quantization de Huawei qui bat Unsloth sur les GGUF

MACaQ, méthode de quantification de Huawei, revendique une divergence KL plus faible que les GGUF d'Unsloth et de Bartowski. Sur Qwen3-4B en IQ4_XS, à taille quasi identique, elle affiche 0,02804 de KL moyen : 23,5 % de moins qu'Unsloth, 18,6 % de moins que Bartowski. Sur Qwen3.8-27B, l'écart atteint environ 65 % face à Bartowski. Code, fork de llama.cpp et benchmarks sont publiés sur GitHub.

Illustration générée : réseau abstrait générique.
Illustration générée localement — réseau numérique (repli générique). Schéma symbolique, pas une photographie.
open-sourcerecherchedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.