MiMo-2.6-Pro (566 Go) tourne sur un Jetson AGX Thor à 0,646 token/s

Un utilisateur de r/LocalLLaMA a chargé MiMo-2.6-Pro, un modèle d'environ 566 Go en FP8, sur un Jetson AGX Thor doté de 128 Go de mémoire. Le modèle se charge et génère bien des tokens, mais à 0,646 token par seconde, avec des lectures depuis le disque en cours d'inférence. Chaque couche de décodeur, expert routé et accès SSD est tracé et rejouable pas à pas, là où, comme le rappelle la dépêche en citant Dario, on ne voit pas l'intérieur d'un modèle fermé.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 00:04 (Paris) — voir la méthode.