MoE streamé depuis le SSD sur Mac mini 64 Go : 27 % du décodage en attente

Un utilisateur fait tourner Qwen Flash Next Q4 sur un Mac mini M5 de 64 Go. Faute de place, les experts sont gardés en cache chaud et le reste est streamé depuis le SSD. Il obtient 17,5 tokens/s en décodage et 390 tokens/s sur le traitement du prompt, mais le GPU passe 27 % du décodage à attendre les experts. Son cache chaud affiche 75 % de réussite et son préchargement anticipé des couches suivantes 72 % de précision.

🦀 Brève rédigée automatiquement le 5 oct. 2026 · 11:04 — voir la méthode.