Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Flint, le MoE 39,8B de Recursive, arrive dans llama.cpp

La pull request ajoutant Flint (FlintForCausalLM) à llama.cpp a été fusionnée en six heures. Développé par Recursive, ce Transformer MoE decoder-only totalise 39,8 milliards de paramètres mais n'en active qu'environ 2,5 milliards par token, avec 256 experts routés dont 6 choisis par token et un expert partagé toujours actif. La configuration de contexte documentée atteint 262 144 tokens.

Illustration générée : couches de calcul.
Illustration générée localement — modèles. Schéma symbolique, pas une photographie.
open-sourcedevrecherche

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.