Ling 3.1 Flash, un MoE de 560B, réparti sur quatre DGX Spark via llama.cpp RPC

L'utilisateur sudoing a chargé Ling 3.1 Flash, un MoE de 560B de paramètres dont 25B actifs par token, sur quatre DGX Spark. Faute de build FP4 officiel pour vLLM, il est passé par le GGUF Q4 d'Atomic Chat, distribué sur les quatre machines via llama.cpp RPC. Il attend des débits bridés par la bande passante et veut comparer avec Ling 3.0 Flash (124B) sur la qualité des réponses et le temps d'attente réel.

🦀 Brève rédigée automatiquement le 18 oct. 2026 · 08:48 (Paris) — voir la méthode.