+6,4 % : les labos annoncent de meilleurs scores que les testeurs indépendants

611 comparaisons appariées, un écart de 6,4 %

L'auteur de whatmodel.sh, un classement open source de modèles, a compilé 1 629 résultats publiés puis apparié 611 comparaisons portant sur 180 modèles et 103 benchmarks. La méthode est celle du face-à-face : mêmes modèles, mêmes tests, deux sources — le labo d'un côté, un testeur indépendant de l'autre. Résultat, les scores annoncés par les labos dépassent en moyenne de 6,4 % ceux des évaluateurs externes.

Le chiffre mérite d'être lu pour ce qu'il est : un écart moyen mesuré sur un corpus, pas une accusation nominative. Il ne dit rien des causes — choix de variantes, prompts maison, moyennage sur plusieurs tentatives, sélection des runs publiés. Il dit qu'à test identique, la source qui publie le chiffre obtient systématiquement un peu mieux que celle qui le vérifie.

Ce qui rend le travail discutable, c'est sa reproductibilité : le jeu de données est publié sous CC BY-SA 4.0, le code sous MIT, sources et licences documentées. N'importe qui peut refaire l'appariement, contester un rapprochement ou isoler un labo. C'est plus solide qu'un graphique barré.

Deux recettes opposées pour les poids ouverts

En 72 heures, quatre gros modèles à poids ouverts sont sortis. Meta a lancé Muse Spark Open : 816 Md de paramètres, 42 Md actifs, contexte de 1M. Le problème n'est pas la fiche technique, c'est le bureau. L'usage « desktop » suppose deux Mac Studio M5 Ultra de 512 Go, ou quatre de 256 Go pour environ 38 000 dollars.

NVIDIA a répondu avec Nemotron 3.5 Bolt : 74 Md au total, 9 Md actifs, quantifié jusqu'en 2 bits pour tenir dans 24 Go. Deux philosophies qui ne répondent pas à la même question. D'un côté, la vitrine capacitaire qu'on exécute sur un rack de stations ; de l'autre, le format qui rentre dans une carte grand public.

À contexte de 1M et 816 Md de paramètres, on ne compare pas des modèles, on compare des budgets matériels. La quantification à 2 bits est le seul levier qui permette aujourd'hui de garder un modèle dense en mémoire sur une machine personnelle — au prix d'une perte de qualité que les annonces ne chiffrent pas.

L'agent de code devient une surface d'attaque

OpenCode, agent de programmation open source, a confirmé samedi 17 octobre une intrusion qui a pu exposer les clés API OpenAI, Anthropic et Google de 1,4 % des utilisateurs de sa Console. L'entreprise relie l'incident à une « attaque par distillation », méthode qui consiste à exploiter un modèle pour en entraîner un autre. Des victimes signalent déjà des frais de plusieurs centaines de dollars.

Le scénario est cohérent avec la nature de ces outils : un agent de code détient des identifiants en clair pour appeler des API facturées au token. Voler ces clés, c'est s'offrir du calcul gratuit sur le compte d'un tiers — et l'usage décrit, distiller un modèle, transforme la facture en budget d'entraînement.

Un pourcentage de 1,4 % paraît faible jusqu'à ce qu'on le rapporte à une base d'utilisateurs développeurs, c'est-à-dire à des gens dont les clés ouvrent souvent plusieurs services à la fois.

NVIDIA pousse ses agents par défaut

La version 11.0.9.565 de l'application NVIDIA, publiée le 13 octobre 2026, active par défaut un serveur qui permet à des agents IA de piloter le logiciel. Rien à cocher : l'option est en place dès la mise à jour. Une couche de pilotage par agents s'installe donc dans un logiciel grand public sans démarche explicite de l'utilisateur.

Sur le front du rendu, le mod DLSS-NR fait tourner les grandes fonctions DLSS de NVIDIA, DLSS 5 compris, sur les Radeon RX 6000, 7000 et 9000. Son développeur dit viser les performances d'une GeForce RTX 5070 Ti. Des technologies jusqu'ici liées au matériel NVIDIA passent côté AMD.

Les deux nouvelles vont dans le même sens : la couche logicielle se détache du matériel et s'installe d'elle-même. Un serveur d'agents activé par défaut, ce n'est plus une fonctionnalité, c'est une posture par défaut qu'il faudra penser à désactiver.

Et maintenant ?

Les trois fils de la semaine se rejoignent sur un point : la mesure et le contrôle deviennent le nerf de la guerre. Un écart de 6,4 % entre labos et testeurs indépendants rend les classements auto-publiés suspects par défaut, sans qu'aucun n'ait menti. Un modèle de 816 Md de paramètres rappelle que « poids ouverts » ne veut pas dire « accessible ». Un serveur d'agents activé sans demander, et des clés API volées chez un agent de code, dessinent la même ligne de faille : ce qui tourne chez soi doit rester sous surveillance, et ce qui est mesuré doit être mesuré par quelqu'un d'autre.