Benchmarks contestés, poids ouverts : la mesure des modèles fait débat

ISTA contre Unsloth : le désaccord porte sur le protocole

La discorde est technique, mais elle dit beaucoup de la façon dont on compare aujourd'hui les modèles. ISTA conteste les comparaisons de quantifications publiées par Unsloth sur DeepSeek-V4.1-Flash-1017, qu'il juge non conformes à ses propres résultats. L'entreprise assure n'avoir modifié aucun hyperparamètre : contexte de 128K et effort de raisonnement fixé à 50, pour un modèle de 763 milliards de paramètres.

L'écart viendrait des contraintes du banc d'essai. Unsloth limite le raisonnement à 32K tokens, là où ISTA autorise jusqu'à 128K en sortie. Deux mesures, donc, plus tout à fait comparables.

Derrière la passe d'armes, un problème de fond : quand un modèle raisonne sur des sorties longues, brider cette longueur change le résultat. Un chiffre de benchmark n'a de sens qu'accompagné de son protocole.

Mistral Large 4 : les poids ouverts, et un détail qui compte

Mistral AI ouvre les poids de Mistral Large 4, dévoilé le 6 octobre et désormais téléchargeable sur Hugging Face. Trois semaines d'entraînement par renforcement et de tests auprès de clients — ASML, Cisco, Microsoft, Orange Cyberdefense — ont précédé cette ouverture. Les entreprises peuvent déployer le modèle sur leur propre infrastructure, sans dépendre uniquement de l'API de son concepteur.

Sur r/LocalLLaMA, l'annonce est reprise avec un enthousiasme à la mesure du gabarit : 1 000 milliards de paramètres, un « BIG BOY » de 1T. Mais ce qui retient l'attention de la communauté du modèle local, c'est ailleurs : le lien pointe vers le blog Hugging Face de Mistral, avec une ancre vers une section consacrée à llama.cpp. C'est ce détail d'implémentation qui intéresse, davantage que la taille brute.

Un milliard de paramètres en plus ou en moins, la question n'est pas là. Elle est de savoir si l'on peut faire tourner le modèle, et comment.

Gemini 4 Carbon passe devant Claude Opus 5.5

Changement de tête au classement d'Artificial Analysis : Gemini 4 Carbon devient le meilleur modèle du marché selon l'organisme, et Claude Opus 5.5 perd sa première place. Le basculement n'a rien d'anecdotique pour ceux qui s'appuient sur ces classements publics pour arbitrer un choix de modèle.

Rappel utile : un classement mesure ce qu'il mesure. La position d'un modèle dépend du jeu d'évaluations retenu, pas d'une supériorité absolue dans tous les usages.

Reddit referme la porte derrière ses lecteurs

Autre mouvement, d'une nature différente : Reddit annonce faire évoluer sa plateforme vers une expérience réservée aux utilisateurs connectés, alors que le trafic venu des moteurs de recherche se tarit. L'entreprise, historiquement bâtie sur le web ouvert, revoit ce modèle pour protéger son audience et son activité. En cause : l'IA, qui transforme la manière dont les internautes trouvent l'information en ligne.

Le raisonnement est facile à reconstituer. Si les internautes obtiennent leurs réponses ailleurs, le passage par un moteur de recherche ne ramène plus de visiteurs — et un visiteur non connecté, sans compte, ne vaut plus grand-chose. Reddit choisit donc de fermer l'accès pour retenir ceux qui restent.

À noter que la dépêche sur DeepSeek comme celle sur Mistral venaient justement de r/LocalLLaMA. La matière première de la discussion sur les modèles locaux circule sur des plateformes qui, elles, réfléchissent à se refermer.

Et maintenant ?

Deux fils se croisent ici. D'un côté, la mesure : ISTA et Unsloth se disputent un protocole, Artificial Analysis rebat les cartes entre Gemini 4 Carbon et Claude Opus 5.5. De l'autre, l'accès : Mistral ouvre ses poids pour qu'on déploie chez soi, Reddit envisage de fermer son web ouvert. Les deux mouvements ne s'opposent pas — ils répondent à la même question, celle de savoir qui garde la main sur le modèle et sur la distribution.