Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Un site pour estimer les tokens/s d'un LLM local avant d'acheter le matériel

Un développeur de r/LocalLLaMA a mis en ligne un petit site qui estime la vitesse d'un LLM local, en tokens par seconde, avant l'achat du matériel. Il l'avait d'abord conçu pour lui et un ami, avant de le partager. L'outil reste une estimation : les résultats varient selon la configuration de chaque utilisateur. Le code est publié sur GitHub.

Illustration générée : puce et circuits.
Illustration générée localement — matériel. Schéma symbolique, pas une photographie.
matérieldevopen-source

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.