LLM 0.37, agents managés, modèles locaux : la plomberie de l'IA bouge

LLM 0.37 : la plomberie avant les modèles

Simon Willison publie la version 0.37 de LLM, son outil en ligne de commande et sa bibliothèque Python. La nouveauté la plus concrète n'est pas un modèle mais une commande, `llm openai endpoint add`, qui facilite la configuration d'endpoints compatibles OpenAI. De quoi brancher un service tiers sans se battre avec la configuration.

Côté modèles, deux entrants : gpt-6.1-sol et gpt-6.1-terra. Le modèle par défaut change aussi de crans, puisque c'est désormais gpt-6-luna qui prend la place — moitié moins cher que gpt-5.6-luna. Un basculement par défaut qui se joue donc sur le coût autant que sur les capacités.

Les embeddings ne sont pas en reste : ils acceptent maintenant plusieurs content-type, ce qu'exige Gemini Embedding 2 pour fonctionner. Une broutille en apparence, mais c'est le genre d'ajustement qui débloque l'usage d'un modèle d'embeddings dans une chaîne existante.

Agents : un runtime clé en main, des traces inaccessibles

LangChain annonce Managed Deep Agents, une offre pour faire tourner des agents « deep » en production sans construire soi-même le runtime. Le service embarque l'exécution durable, des sandboxes, l'accès aux outils et l'observabilité via LangSmith. Disponibilité : bêta privée pour l'instant.

À l'autre bout du spectre, Legora développe des agents pour les avocats et se heurte à une contrainte structurelle : l'entreprise ne peut consulter aucune trace du travail de ses agents, parce que les données appartiennent aux clients des cabinets. Jacob Lauritzen, CTO de Legora, explique dans Latent Space comment on construit et teste un agent quand on ne voit pas ce qu'il fait. Legora figure parmi les entreprises à la croissance la plus rapide du secteur.

Les deux dépêches ne racontent pas la même histoire. D'un côté, un runtime managé qui promet l'observabilité en standard ; de l'autre, un métier où l'observabilité est interdite par construction, et où il faut donc concevoir et valider sans regarder.

Le local : du navigateur au GPU de salon

Liquid AI a présenté LFM3 Omni 2B, son nouveau modèle omni, en démonstration directement dans un navigateur grâce à WebGPU. La vidéo de la démo provient de leur propre espace Hugging Face. L'intérêt est explicite : une exécution locale, côté navigateur, sans dépendre d'une infrastructure serveur distante.

Sur r/LocalLLaMA, un utilisateur fait tourner DeepSeek V4.1 Flash en 1M de contexte, entièrement hors ligne via Strata, sur une RX 9070 XT 16 Go, un 5800X3D, 64 Go de DDR4 et un NVMe PCIe 3.0 — les experts étant répartis entre VRAM, RAM et SSD. La génération à ~7 tok/s lui convenait. Le point noir était ailleurs : la lecture du prompt. Chaque session OpenCode relisait environ 37K tokens de prompt système et d'outils, soit à peu près 100 secondes avant le premier token.

Il a donc patché le moteur DeepSeek, avec deux changements, pour accélérer d'un facteur 20 le démarrage des sessions d'agent. La formulation du billet ne cache pas la pique : c'est une réponse ironique à Sam Altman, qui jugeait « assez terrible » de laisser de la DRAM mondiale dormir dans les ordinateurs personnels.

Et maintenant ?

Trois mouvements distincts, une même logique de coût et de contrôle. Côté modèles, le défaut de LLM 0.37 se choisit à moitié prix. Côté agents, la question n'est plus de savoir si l'on peut observer l'exécution, mais qui a le droit de le faire — LangChain la vend en standard, Legora doit s'en passer. Côté local, le matériel déjà présent refait surface, et le goulot d'étranglement se déplace du GPU vers la lecture du prompt.