Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

CrowdGPT v2.6 : un LLM de 1 milliard de paramètres entraîné sans datacenter

Le projet CrowdGPT passe en version 2.6, une mise à jour d'ampleur de son LLM collaboratif. Objectif : entraîner un modèle de 1 milliard de paramètres sans datacenter ni les millions de dollars des entreprises d'IA. Chacun entraîne sur son PC puis verse sa contribution au modèle global, via un protocole où la direction se décide collectivement. Une preuve de concept, extensible à des modèles denses plus gros ou à des architectures MoE.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcerecherchedev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.