Quantification du cache KV : le 8 bits tient la comparaison sur Qwen3.8 27B
Un membre de r/LocalLLaMA a mesuré l'effet de la quantification du cache KV sur Qwen3.8 27B à l'aune de la KLD, sur 35 quantifications de poids réparties entre llama.cpp, ExLlamaV3 et vLLM. Verdict : le cache en 8 bits divise la taille par deux sans écart notable de KLD, tandis que le 4 bits n'est pas pris en charge partout. Le jeu de données de mesure a été refait, avec de l'usage d'outils généré par le modèle en pleine précision et des contextes allant jusqu'à 64k tokens.
devrechercheopen-source
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.