Muse Spark atteint 18 tokens/s sur un seul Mac Studio
Muse Spark, un modèle texte, tourne sur un seul Mac Studio et atteint 18 tokens/s en décodage, d'après son auteur. Le débit a depuis légèrement reculé, le temps de piocher dans d'autres arbres de travail ds4. Le code sera publié une fois le fléchissement du prefill corrigé et les 18 t/s retrouvés. Les poids restent verrouillés sur Hugging Face, l'auteur hésitant entre les publier ou partager la recette.

matérieldevagents
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.