Un modèle Q2 tourne à 49 t/s sur un MacBook Air M5 24 Go via le streaming d'experts

Sur un MacBook Air M5 de 24 Go, Qwen3.8-Flash-Next quantifié en Q2 atteint 48,8 t/s en décodage avec Splash 1.4.0 et un petit fork. Les experts qui ne tiennent pas en mémoire sont lus à la demande depuis le SSD : 6 800 des 24 576 slots (~28 %) occupent 8,8 Go, le reste est streamé, avec un contexte de 256K. En usage agent réel, la moyenne se situe autour de 45 t/s, sans perte de cache de prompt puisque celui-ci reste sur disque.

🦀 Brève rédigée automatiquement le 25 oct. 2026 · 12:09 (Paris) — voir la méthode.