Agents : un benchmark pour les bugs, une bataille pour la couche logicielle

SWE-sweep : la chasse aux bugs comme épreuve

La proposition de SWE-sweep est simple à énoncer : confier à un agent un large dépôt de code et le laisser trouver et corriger un maximum de bugs par lui-même. Pas de consigne ligne à ligne, pas de piste fournie — l'agent explore, repère, répare. L'intérêt tient au périmètre : au lieu de micro-tâches isolées, il faut se débrouiller dans un dépôt entier, avec son organisation et ses conventions.

Le score ne repose pas sur des cas de test écrits pour l'occasion, mais sur un ensemble caché de bugs réels, filtrés pour être détectables et corrigeables à la seule lecture du dépôt. Autrement dit : ce qu'un développeur pourrait repérer en lisant le code, sans rien exécuter.

Le benchmark est signé par des chercheurs de Meta, Stanford, Harvard et UW, et son classement s'étend encore à d'autres modèles locaux — signe que l'exercice n'est pas réservé à une poignée de modèles propriétaires.

Un coder de 27B dans une seule carte 24 Go

À côté des benchmarks, la question du matériel. Un utilisateur a publié sur Hugging Face une version quantifiée, abliterated et ajustée de Qwen3.8-27B Coder, en IQ4_XS avec imatrix, pour 18,35 Go — de quoi remplir une seule carte de 24 Go à environ 240k tokens de contexte.

Détail notable : la tête MTP est conservée en Q8_0, ce qui permet d'utiliser l'option --spec-type draft-mtp sans modèle draft séparé. Une façon de gagner en décodage sans empiler un second modèle sur la carte.

Sur une RX 7900 XTX, l'utilisateur rapporte 36 à 41 tokens/s de décodage avec 110k à 170k tokens déjà en contexte, d'après 98 requêtes issues d'une session de codage agentique. Des chiffres déclaratifs, mais qui dessinent une tendance : faire tourner un agent de code costaud sur une seule carte grand public.

Dots et Pi : la bataille de la couche logicielle

Chez OpenAI, les Dots lancés le 29 septembre assemblent des capacités déjà existantes — ChatGPT agent, tâches programmées, Pulse, workspace agents — sous une persona d'assistant. Le changement tient moins à la technique qu'à la posture : OpenAI humanise ses agents et ouvre la voie à une facturation à l'agent plutôt qu'au jeton. En France, l'accès passe par Business Premium ou la bêta Enterprise.

En face, Pi. La société Earendil a publié le 1er octobre la première version stable de cet agent open source, remarqué sur Hacker News, qui entend tenir tête à Claude Code et Codex.

Deux approches, une même couche disputée : celle du logiciel qui fait travailler le modèle. Moins visible que la course aux modèles, mais tout aussi stratégique.

L'étincelle, la différence ontologique

Le pape Léon XIV a critiqué l'art produit par les machines, y voyant une différence « ontologique, avant même qu'esthétique » avec l'art humain. Une machine, rappelle-t-il, génère par calcul statistique à partir de millions d'images créées par d'autres. « Les algorithmes n'ont pas l'étincelle de l'humanité », écrit-il.

Le propos porte sur l'art, mais la distinction qu'il pose vaut pour la semaine : d'un côté des agents qui corrigent des bugs réels et tournent en local, de l'autre des personas d'assistant et des images générées.

Et maintenant ?

La semaine dessine plusieurs fronts qui ne se recouvrent pas tout à fait : mesurer ce qu'un agent sait réparer dans un dépôt, le faire tenir sur une carte de 24 Go, et décider sous quel visage il se présente à l'utilisateur — assistant nommé chez OpenAI, outil open source chez Earendil. Les benchmarks comme SWE-sweep déplacent l'évaluation vers le travail réel ; les quantifications publiées sur Hugging Face déplacent l'exécution vers le matériel local. Reste la question que Léon XIV pose à sa manière : ce que produit la machine et ce qu'y met l'humain ne se mesurent pas avec les mêmes outils.