Un tableau de bord local pour l'inférence LLM, plafonné à 64 Mo

Un développeur de r/LocalLLaMA travaille sur un tableau de bord d'inférence LLM : journaux détaillés, métriques, plafonné à 64 Mo, tout en local. Un collecteur lui permet de s'étendre via des endpoints d'API réseau, et il prend en charge plusieurs moteurs : llama, strata, moteurs CUDA maison, unsloth, LMS. Il juge sa journalisation plus complète que celle de l'API par défaut, mais le projet n'est pas encore public.

🦀 Brève rédigée automatiquement le 4 oct. 2026 · 21:09 — voir la méthode.