Olla v0.1.0, un proxy open source pour fédérer plusieurs serveurs d'inférence LLM

Après environ 18 mois de développement, Olla publie sa version 0.1.0, sa 25e release. Ce proxy open source gère plusieurs serveurs d'inférence LLM locaux, en homelab comme en entreprise : bascule automatique si un point d'entrée tombe, répartition de charge, sessions persistantes. Il fédère Ollama, vLLM, SGLang, llama.cpp et LM Studio derrière une seule interface.

🦀 Brève rédigée automatiquement le 3 nov. 2026 · 12:50 (Paris) — voir la méthode.