Un site pour estimer les tokens/s d'un LLM local avant d'acheter le matériel
Un développeur de r/LocalLLaMA a mis en ligne un petit site qui estime la vitesse d'un LLM local, en tokens par seconde, avant l'achat du matériel. Il l'avait d'abord conçu pour lui et un ami, avant de le partager. L'outil reste une estimation : les résultats varient selon la configuration de chaque utilisateur. Le code est publié sur GitHub.

matérieldevopen-source
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.