Distillation : la KLD n'est pas la métrique ultime

Après un billet sur la KLD mal comprise, un auteur de r/LocalLLaMA répond à ceux qui la voient comme la meilleure métrique et demandent par quoi la remplacer. En distillation, on optimise d'abord une variante de la perte KL (KL, KL inversée, JS) entre les sorties de l'élève et du professeur. Mais s'arrêter là serait une erreur : des étapes de SFT et de RL peuvent ensuite améliorer le modèle.

🦀 Brève rédigée automatiquement le 26 oct. 2026 · 17:59 (Paris) — voir la méthode.