Trois optimisations pour accélérer l'inférence MoE sur NVIDIA DGX Spark

Un contributeur de r/LocalLLaMA détaille trois optimisations pour l'inférence MoE sur NVIDIA DGX Spark. Le backend MoE Humming en MXFP4 apporte 9,3 % de débit en plus, et la quantization FP8 en ligne de la LM head 21,7 %. Le décodage spéculatif MTP (NEXTN) fait passer le débit de 36,09 à 102,88 tok/s, soit +185,1 %, avec une latence TPOT ramenée de 27,71 à 9,72 ms.

🦀 Brève rédigée automatiquement le 28 oct. 2026 · 05:41 (Paris) — voir la méthode.