CrowdGPT v2.6 : un LLM de 1 milliard de paramètres entraîné sans datacenter
Le projet CrowdGPT passe en version 2.6, une mise à jour d'ampleur de son LLM collaboratif. Objectif : entraîner un modèle de 1 milliard de paramètres sans datacenter ni les millions de dollars des entreprises d'IA. Chacun entraîne sur son PC puis verse sa contribution au modèle global, via un protocole où la direction se décide collectivement. Une preuve de concept, extensible à des modèles denses plus gros ou à des architectures MoE.

open-sourcerecherchedev
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.