GCMP : mêmes scores que LoRA r=32 avec 55 fois moins de paramètres
Sur Qwen3.8-27B, l'adaptateur GCMP, une alternative à LoRA, n'entraîne que 2,9 M de paramètres (~11 Mo), contre ~159 M (~320 Mo) pour LoRA r=32 sur les mêmes 7 projections : 55 fois moins. Les deux ont été entraînés sur Alpaca avec des réglages identiques et évalués via lm-evaluation-harness en décodage glouton. Les scores restent proches : GSM8K 0,890 contre 0,903, MMLU 0,846 contre 0,844.

open-sourcerecherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.