Une liste de ressources pour apprendre l'entraînement distribué des LLM
Un membre de r/LocalLLaMA a compilé les ressources qu'il a lues, dans l'ordre, pour aborder l'entraînement distribué des grands modèles. On y trouve une série YouTube de Umar Jamil pour construire un framework « from first principles », puis des articles de référence : Horovod, PyTorch Distributed, ZeRO, Megatron-LM, GPipe, ZeRO-Infinity et PyTorch FSDP. Les liens vers ces ressources sont regroupés dans le message.

rechercheopen-sourcedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.