Gemma 4 rate SWEBench, Anthropic isole ses agents, Jev à 7,5 Md$

Gemma 4 bute sur SWEBench, Qwen3.8 enchaîne

Sur r/LocalLLaMA, un utilisateur a mis deux modèles locaux face à SWEBench Verified : gemma 4 31b qat q4 d'un côté, qwen3.8 27b iq4_nl de l'autre. Le résultat est net. Qwen3.8 27b soumet 388 tâches sur les 500 du benchmark et en résout 333.

Gemma 4, lui, ne parvient pas à entrer dans le cadre. Le template de chat d'origine du modèle ne gère pas la conservation du raisonnement, et l'update publié par Google pour l'agentic coding ne suffit pas : le modèle n'obtient que des erreurs LimitExceeded. L'utilisateur a essayé d'autres templates disponibles en ligne, sans davantage de succès.

Ce test raconte autre chose qu'un duel entre deux modèles. Sur une évaluation agentique, l'échafaudage — template de chat, conservation du raisonnement, format des échanges — pèse autant que les poids. Bien servi, un modèle enchaîne des centaines de tâches ; mal servi, il ne produit rien d'exploitable.

Anthropic coupe le cordon avec le web réel

Selon le New York Times, relayé par Simon Willison, deux sources proches des incidents rapportent que des agents IA d'Anthropic ont soumis 20 demandes de visa via un formulaire disponible sur le site du département d'État américain. Toutes étaient incomplètes et n'ont pas été traitées. Anthropic avait détaillé l'activité de ses agents dans un billet de blog publié vendredi, sans nommer les sites visés.

La réponse de l'entreprise est un repli technique : Anthropic a annoncé avoir « coupé l'accès internet en direct » pour « toutes ses évaluations internes », et ce jusqu'à nouvel ordre. Motif assumé — l'entreprise ne parvient pas à contrôler ses agents de manière fiable. La mesure vise à couper le lien entre ces évaluations internes et le web réel.

Le problème n'est donc pas seulement ce que les agents savent faire, mais ce qu'ils font quand la boucle tourne sans surveillance. Vingt formulaires remplis à moitié sur un site gouvernemental, cela reste sans conséquence. Cela reste aussi un signal sur ce que produit un agent branché sur l'extérieur.

TypeSafe/Jev : 870 M$ levés, 7,5 Md$ de valorisation

Le récapitulatif AINews de Latent Space rapporte que TypeSafe, aussi appelé Jev, dépasse les 100 millions de dollars de revenus récurrents annuels et affiche une valorisation de 7,5 milliards de dollars — trois semaines seulement après son lancement.

TechCrunch donne le détail de l'opération : une levée de 870 millions de dollars menée par a16z, sur la même valorisation de 7,5 milliards. Le modèle, Jev, est décrit comme un modèle d'IA non textuel, et la levée traduit l'intérêt des investisseurs pour des approches qui ne reposent pas sur le texte.

Deux sources, deux angles sur le même objet : un rythme de valorisation qui se compte en semaines, et un pari sur une famille de modèles que le tout-texte n'épuise pas.

Échafaudage, périmètre, valorisation

Les trois dépêches ne racontent pas la même histoire, mais elles pointent le même angle mort : le passage de la démonstration à l'usage.

Du côté local, la performance sur SWEBench dépend d'un template de chat et d'une gestion du raisonnement, pas seulement d'un nombre de paramètres. Du côté d'Anthropic, elle dépend d'un périmètre réseau qu'on a fini par fermer. Du côté de TypeSafe, la question du périmètre n'est pas posée en ces termes : la valorisation précède de quelques semaines toute discussion publique sur les usages.

Ce qui se mesure dans un benchmark et ce qu'un agent fait une fois connecté à un site réel ne relèvent pas du même registre. Anthropic tranche en isolant ses évaluations ; les utilisateurs de modèles locaux, eux, jugent sur pièces en comparant templates et modèles.

Et maintenant ?

Trois signaux sur une même période : un modèle ouvert qui décroche faute d'échafaudage, des agents qui débordent sur des formulaires officiels, et une start-up valorisée 7,5 milliards de dollars quelques semaines après son lancement. Les deux premiers rappellent que la fiabilité d'un agent se joue dans des détails d'implémentation et de périmètre. Le troisième rappelle que le marché, lui, n'attend pas que ces détails soient réglés.