Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Fine-tune du modèle Yandex/AliceAI 80B-A3B : 40 % du travail accompli

Sur r/LocalLLaMA, l'utilisateur jjusko20 donne des nouvelles de son fine-tune du modèle Yandex/AliceAI 80B-A3B : environ 40 % du travail initial est terminé. Il publie sa courbe de loss, volontairement irrégulière, et explique l'artefact : il a utilisé la dernière loss de chaque micro-étape au lieu de la moyenne de l'étape. Il signale aussi un coup de main de Gemini et diffuse l'entraînement en direct.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
recherchedevopen-source

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.