Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un configurateur pour choisir son Mac selon les LLM locaux qu'il peut faire tourner

Las de devoir deviner quelle configuration de Mac mini ferait tourner ses modèles, un développeur a mis en ligne modelfit.io, un configurateur pensé pour l'IA locale. On y choisit une machine et sa configuration : l'outil indique alors quels modèles tiennent en mémoire et une vitesse estimée pour chacun, mise à jour en temps réel. Les estimations de vitesse viennent d'un modèle ajusté sur de vrais runs llama-bench, et chaque chiffre affiche son erreur typique. Les prix catalogue Apple sont actualisés quotidiennement. L'auteur, qui présente cela comme son propre projet, cherche des retours, notamment de personnes capables de comparer ses estimations à leurs propres mesures.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérieldev

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.