Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Une liste de ressources pour apprendre l'entraînement distribué des LLM

Un membre de r/LocalLLaMA a compilé les ressources qu'il a lues, dans l'ordre, pour aborder l'entraînement distribué des grands modèles. On y trouve une série YouTube de Umar Jamil pour construire un framework « from first principles », puis des articles de référence : Horovod, PyTorch Distributed, ZeRO, Megatron-LM, GPipe, ZeRO-Infinity et PyTorch FSDP. Les liens vers ces ressources sont regroupés dans le message.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
rechercheopen-sourcedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.