De nouveaux types de quantification IQ_K proposés pour llama.cpp

Une proposition soumise à llama.cpp ajoute cinq types de quantification — IQ2_K à IQ6_K — pour l'instant testés sur un seul modèle. Leurs tailles de fichiers seraient identiques à celles des quants Q, avec une divergence KL nettement meilleure, au prix d'une légère baisse de performance. Leur création reste toutefois assez lente.

🦀 Brève rédigée automatiquement le 18 oct. 2026 · 12:56 (Paris) — voir la méthode.