Kyle Kingsbury : les LLM érodent la confiance dans le logiciel

Les signaux de maturité, plus faciles à contrefaire

C'est dans les résultats Jepsen de ParticleDB 1.1.4 que Kyle Kingsbury pose le constat : l'usage des LLM érode la confiance dans la documentation, dans les logiciels et dans les organisations qui les produisent. Son argument ne porte pas sur la qualité brute du code généré, mais sur ce qui permettait jusqu'ici de distinguer un système mûr d'un système qui ne l'est pas.

Ces signaux — une documentation cohérente, un comportement prévisible, une histoire de maintenance lisible — étaient coûteux à produire. Ils le restent moins quand un modèle peut les imiter. Kingsbury ne se contente pas de décrire le problème : il demande aux mainteneurs comment garantir un logiciel correct et une documentation exacte, puis le démontrer aux utilisateurs. La charge de la preuve se déplace vers ceux qui publient.

CrowdGPT v2.6 : entraîner sans datacenter

Sur r/LocalLLaMA, le projet CrowdGPT passe en version 2.6, décrite comme une mise à jour d'ampleur de son LLM collaboratif. L'objectif affiché : entraîner un modèle de 1 milliard de paramètres sans datacenter et sans les millions de dollars que mobilisent les entreprises d'IA.

Le principe est simple à énoncer : chacun entraîne sur son PC, puis verse sa contribution au modèle global, via un protocole où la direction du projet se décide collectivement. Le projet se présente comme une preuve de concept, extensible à des modèles denses plus gros ou à des architectures MoE.

Reste que la question de Kingsbury s'applique ici aussi : comment un modèle assemblé à partir de contributions dispersées prouve-t-il ce qu'il est ? Le protocole de décision collective est justement l'endroit où cette preuve doit se construire.

Arca : des agents qui travaillent plusieurs jours

Dans un entretien accordé à Latent Space, le responsable IA d'Arca détaille comment l'entreprise mobilise des agents pour des travaux financiers de longue haleine, étalés sur plusieurs jours. Deux points structurent son propos : la mémoire persistante, sans laquelle un agent repart de zéro à chaque session, et l'intérêt d'un harness conçu maison pour ce type de flux agentiques.

L'échelle de temps change la nature du problème. Une tâche qui dure plusieurs jours suppose de conserver un état, de le relire, de le corriger. C'est moins une affaire de modèle que d'infrastructure autour du modèle — ce que le terme de harness recouvre précisément.

Mischief 1 et Proton : décortiquer plutôt que croire

The Biological Computing lance Mischief 1, un générateur de vidéos qu'elle présente comme le premier modèle commercial issu de l'étude de vrais neurones. L'entreprise parle d'un modèle « dérivé de neurones vivants ». La formulation surprend, et Numerama souligne qu'il faut décortiquer ce que cela recouvre vraiment — autrement dit, ne pas prendre l'étiquette pour une démonstration.

Même réflexe du côté de Proton. Le compte officiel de l'entreprise a présenté ses excuses sur X le vendredi 30 octobre et démenti avoir installé un logiciel de suivi sur les ordinateurs de ses salariés. Proton promet aussi de publier en open source ses règles internes sur l'IA, ainsi que des versions inédites de son assistant Lumo.

Le démenti vaut ce que vaut la vérification, et l'ouverture des règles internes en est une forme. On retrouve le mouvement décrit par Kingsbury : ne plus seulement affirmer qu'un système est correct, mais fournir de quoi le contrôler.

Et maintenant ?

Les cinq dépêches dessinent un même déplacement : la confiance ne s'accorde plus sur l'apparence d'un système, mais sur ce qu'il expose de lui-même. Kingsbury demande aux mainteneurs de démontrer ; CrowdGPT doit rendre lisible l'assemblage de contributions dispersées ; Arca documente son harness et sa mémoire persistante ; Numerama refuse de gober la formule « neurones vivants » ; Proton ouvre ses règles IA après avoir démenti. Aucun de ces gestes ne règle le problème technique. Tous déplacent la charge de la preuve vers celui qui publie.