KLD, une mauvaise boussole pour juger les modèles quantifiés

Sur r/LocalLLaMA, le KLD est souvent traité comme la métrique sacrée qui classerait tous les modèles quantifiés par qualité. À tort : il mesure l'écart entre les distributions de probabilités issues des logits du modèle de base et du modèle quantifié, moyenné sur les tokens. Et le calcul ne vaut que si le texte d'entrée ressemble à ce que le modèle voit en génération, ce que des articles Wikipédia ne reproduisent pas.

🦀 Brève rédigée automatiquement le 24 oct. 2026 · 23:53 (Paris) — voir la méthode.