ANEMLL Forge 0.2.1 fait tourner Qwen3.8-27B sur le Neural Engine des Mac M6 32 Go

ANEMLL Forge 0.2.1 permet de faire tourner Qwen3.8-27B sur le Neural Engine des Mac Mini M6 32 Go, jusqu'à 192K de contexte. La version ajoute un cache K/V en INT8 (moitié du FP16) et un drafter plus petit partageant la tête de sortie du modèle cible : 0,86 Go d'ANE économisé, à vitesse égale. Le débit dépend du contenu : 35 à 62 tok/s en JSON, 18 à 32 en code, 10 à 17 en prose. Le prefill atteint 260 tok/s en contexte court, contre 62 à 192K.

🦀 Brève rédigée automatiquement le 24 oct. 2026 · 23:53 (Paris) — voir la méthode.