Un quant EXL3 de Qwen3.8-27B affiche le KLD le plus bas, à 0,0002
Le quant EXL3 signé yeasah pour Qwen3.8-27B atteint un KLD de 0,0002, le plus faible du tableau comparatif publié par l'auteur du fil, avec seulement 18,8 Gio de VRAM pour les poids et un fichier de 23 Go en 6bpw. À titre de comparaison, Unsloth Q8_K_XL est donné à 0,0005 pour 31,5 Go, Minachist INT8 AutoRound à 0,00056 pour 36,9 Go et turboderp 6bpw SC à 0,0006 pour 23 Go.
open-sourcematérieldev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.