Un configurateur pour choisir son Mac selon les LLM locaux qu'il peut faire tourner
Las de devoir deviner quelle configuration de Mac mini ferait tourner ses modèles, un développeur a mis en ligne modelfit.io, un configurateur pensé pour l'IA locale. On y choisit une machine et sa configuration : l'outil indique alors quels modèles tiennent en mémoire et une vitesse estimée pour chacun, mise à jour en temps réel. Les estimations de vitesse viennent d'un modèle ajusté sur de vrais runs llama-bench, et chaque chiffre affiche son erreur typique. Les prix catalogue Apple sont actualisés quotidiennement. L'auteur, qui présente cela comme son propre projet, cherche des retours, notamment de personnes capables de comparer ses estimations à leurs propres mesures.

Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.