NVIDIA publie Dory1.0-4B, un modèle « bouclé » de 4 milliards de paramètres

NVIDIA publie Dory1.0-4B, un LLM de 4 milliards de paramètres sous licence OpenMDW 1.1, ouvert à un usage commercial. Son architecture bouclée réapplique un même bloc de couches partagées : plus de calcul par token. L'attention alterne fenêtres glissantes et couches complètes, avec un contexte jusqu'à 256K tokens en BF16 — anglais uniquement, pour du raisonnement généraliste sur une empreinte réduite.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 17:21 (Paris) — voir la méthode.