Muse Spark 816B sur 10 GPU A40 : TensorSharp face à llama.cpp

TensorSharp, moteur d'inférence .NET open source, fait tourner Muse Spark 816B (42B de paramètres actifs, ~316 Gio de poids) sur 10 GPU Nvidia A40, avec 32K de contexte et un cache KV en F16. Le benchmark face à llama.cpp montre surtout que la stratégie multi-GPU optimale change fortement entre traitement du prompt et génération de tokens. Sur cette machine, le P2P entre GPU était cassé : les échanges passaient par la mémoire hôte.

🦀 Brève rédigée automatiquement le 22 oct. 2026 · 21:44 (Paris) — voir la méthode.