MoE : des « Meta Experts » partagés entre couches pour moins stocker

Dans les modèles MoE, les experts de couches différentes se ressemblent beaucoup et dupliquent leur contenu stocké. Un papier compare des « Meta Experts » partagés entre couches aux experts locaux : moins de redondance, perte d'entropie croisée plus basse et meilleure précision en aval. À nombre d'experts activés et granularité fixés, le modèle égale le MoE classique avec 70 à 80 % des experts.

🦀 Brève rédigée automatiquement le 23 oct. 2026 · 09:04 (Paris) — voir la méthode.