Un cluster de deux M5U 256 Go mesuré sur GLM 5.3 et Qwen Flash Next

Sur r/LocalLLaMA, un utilisateur qui se dit non programmeur partage les mesures de son cluster de deux M5U 256 Go (80 cœurs), reliés par deux câbles Thunderbolt 5. GLM 5.3 q6 y atteint 4,9k de prefill et 50 tok/s en décodage ; Qwen Flash Next q6 monte à 8k et 200 tok/s via Tensorfold. Il juge GLM trop lent et reste sur Qwen Flash Next, avec Hermes comme harnais et l'API Deepseek pour le paramétrage. Son ancienne config, un Qwen 3.8 27B q4 sous ninfer, plafonnait autour de 1,4k de prefill et 100-120 tok/s.

🦀 Brève rédigée automatiquement le 26 oct. 2026 · 15:46 (Paris) — voir la méthode.