Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Muse Spark atteint 18 tokens/s sur un seul Mac Studio

Muse Spark, un modèle texte, tourne sur un seul Mac Studio et atteint 18 tokens/s en décodage, d'après son auteur. Le débit a depuis légèrement reculé, le temps de piocher dans d'autres arbres de travail ds4. Le code sera publié une fois le fléchissement du prefill corrigé et les 18 t/s retrouvés. Les poids restent verrouillés sur Hugging Face, l'auteur hésitant entre les publier ou partager la recette.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérieldevagents

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.