Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

GCMP : mêmes scores que LoRA r=32 avec 55 fois moins de paramètres

Sur Qwen3.8-27B, l'adaptateur GCMP, une alternative à LoRA, n'entraîne que 2,9 M de paramètres (~11 Mo), contre ~159 M (~320 Mo) pour LoRA r=32 sur les mêmes 7 projections : 55 fois moins. Les deux ont été entraînés sur Alpaca avec des réglages identiques et évalués via lm-evaluation-harness en décodage glouton. Les scores restent proches : GSM8K 0,890 contre 0,903, MMLU 0,846 contre 0,844.

Illustration générée : réseau abstrait générique.
Illustration générée localement — réseau numérique (repli générique). Schéma symbolique, pas une photographie.
open-sourcerecherchedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.