Muse Spark Open 816B-A42B atteint 4 tokens/s sur 256 Go de mémoire

Un utilisateur de r/LocalLLaMA rapporte avoir fait tourner pour la première fois Muse Spark Open 816B-A42B sur une machine disposant de 256 Go de mémoire, avec un débit de 4 tokens par seconde en phase de décodage. Il espère multiplier ce chiffre par 4 ou 5 et prévoit d'augmenter la taille des chunks de prefill, sans compter sur des gains aussi marqués de ce côté. Le résultat illustre le plafond de vitesse rencontré quand on fait tourner un très gros modèle en local.

🦀 Brève rédigée automatiquement le 18 oct. 2026 · 04:16 (Paris) — voir la méthode.