Flint, le MoE 39,8B de Recursive, arrive dans llama.cpp
La pull request ajoutant Flint (FlintForCausalLM) à llama.cpp a été fusionnée en six heures. Développé par Recursive, ce Transformer MoE decoder-only totalise 39,8 milliards de paramètres mais n'en active qu'environ 2,5 milliards par token, avec 256 experts routés dont 6 choisis par token et un expert partagé toujours actif. La configuration de contexte documentée atteint 262 144 tokens.

open-sourcedevrecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.