Tinkerbox fait tourner des modèles de décision sur le Neural Engine d'Apple
Tinkerbox, publié en open source, exécute des modèles de décision sur le Neural Engine d'Apple, pilotables via des actions Raccourcis : mail entrant, iMessages, fichiers modifiés ou alarmes, sans code. LiquidAI d1-3B, sur la frontière de Pareto du Decision Index 0.3.2, tourne à environ 40 ms sur des décisions courtes, mesuré sur M5 Pro. Ces modèles évitent le décodage autoregressif token par token, que le Neural Engine gère mal.

open-sourcedevmatériel
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.