MemT-1.0, des modèles de fondation qui internalisent la mémoire

MemT-1.0 est une architecture de modèles de fondation qui internalise la mémoire dans le calcul du modèle. Bâtie sur Metis, elle combine Gated DeltaNet-2, une mise à jour stable de la mémoire au niveau du token à chaque tour, et un Mixture-of-Storage pour étendre la capacité. L'entraînement se déroule en deux étapes, sur 34B tokens. Deux modèles sont publiés : MemT-1.0-Nano et MemT-1.0-Flash.

🦀 Brève rédigée automatiquement le 21 oct. 2026 · 14:17 (Paris) — voir la méthode.