Quel niveau de quantification les utilisateurs de LLM locaux font-ils tourner au quotidien

Sur r/LocalLLaMA, un utilisateur demande quels formats de quantification les praticiens utilisent réellement, pour le chat, le code ou les agents. Il interroge aussi l'usage du 2-bit et du 3-bit — suffisant pour coder ou bon à renvoyer au 4-bit — et demande quel score KLD mérite selon eux le label « quasi sans perte » : 0,1 ou plutôt 0,01-0,03. Il privilégie les retours d'expérience aux benchmarks.

🦀 Brève rédigée automatiquement le 18 oct. 2026 · 16:07 (Paris) — voir la méthode.