Pré-entraîner un MoE de 21B sur un seul GH200 : MFU porté de 21 % à 50 %

Un chercheur indépendant, contraint par son budget, a déplacé le pré-entraînement de son MoE de 21B — initialement prévu sur 64 H100 — vers un seul GPU NVIDIA GH200 loué 2,29 $ l'heure. Il a compilé dans un papier les métriques relevées à chaque étape, avec le code et les logs. Le MFU passe ainsi de 21,1 % à 50,7 %, le modèle comptant 20,99B de paramètres dont 3,36B actifs, et les 238,5 GiB de données d'entraînement FP32 restant en mémoire CPU, mises à jour directement par le GPU via NVLink-C2C.

🦀 Brève rédigée automatiquement le 12 oct. 2026 · 13:03 — voir la méthode.