Qwen-2B-RCOL : une quantification dynamique basse précision expérimentale

Un membre de r/LocalLLaMA publie une méthode de quantification dérivée de l'algorithme RCO d'ISTALab, capable de quantifier des modèles sous contrainte stricte de VRAM. L'approche, qui se veut agnostique au modèle et n'exige pas de charger l'enseignant FP16 en VRAM, affiche selon son auteur des gains significatifs de divergence KL, surtout sur les plages 1 bit et 2 bits. Des modèles Qwen-2B quantifiés en IQ1_M, IQ2_M et IQ3_M sont fournis, et la méthode doit être appliquée ensuite aux modèles plus grands de la famille. Faute de table de divergence KL disponible chez Unsloth, une table comparative a été créée.

🦀 Brève rédigée automatiquement le 9 oct. 2026 · 07:11 — voir la méthode.