Trois scores, 24 Go de VRAM et des clés API volées : la semaine des modèles

Trois scores pour un seul benchmark

Un post de r/LocalLLaMA met en regard trois publications du même résultat : celui de DeepSeek-V4.1-Flash-1017 sur le Terminal bench 4.0. La carte modèle annonce 42,3 %. L'index AA relève 34 %. L'index Vals relève 31,82 %.

Trois chiffres, un seul test, et plus de dix points d'écart entre la communication du modèle et la mesure la plus basse. Le post ne tranche pas sur l'origine de la divergence : il se contente de poser la question de la comparabilité des scores publiés pour une même évaluation.

C'est le genre d'écart qui pourrit une conversation technique. Un benchmark ne vaut que si l'on sait exactement ce qui est mesuré, avec quelle version du test, quel harnais et quels réglages de génération. Sans ces précisions, le pourcentage devient un argument marketing flottant plutôt qu'une donnée.

24 Go, la nouvelle ligne de démarcation

En 72 heures, quatre gros modèles à poids ouverts sont sortis. Meta lance Muse Spark Open : 816 milliards de paramètres, 42 milliards actifs, un contexte de 1M. Le problème n'est pas la fiche technique mais le matériel — un usage « desktop » suppose deux Mac Studio M5 Ultra de 512 Go, ou quatre de 256 Go pour environ 38 000 dollars.

NVIDIA répond avec Nemotron 3.5 Bolt : 74 milliards de paramètres au total, 9 milliards actifs, quantifié jusqu'en 2 bits pour tenir dans 24 Go. C'est le seul des quatre à rentrer dans cette enveloppe, selon le post qui compare les sorties.

Deux stratégies s'opposent donc frontalement : la démesure assumée, qui déplace le coût vers la machine, et la compression agressive, qui déplace le coût vers la quantization. Le critère de choix n'est plus le score au benchmark, mais ce qui tient réellement sur le bureau.

Deux CMP 170HX et du vLLM patché

Sur r/LocalLLaMA, un utilisateur détaille l'optimisation de Qwen 3.8 Flash Next sur deux cartes CMP 170HX en PCIe Gen2 x4, sans mod x16 ni TP2 — autrement dit, du matériel déclassé et un bus étroit.

La recette combine un checkpoint W4A16 AutoRound, un vLLM patché, du pipeline parallelism et le décodage spéculatif MTP natif. À huit requêtes de code simultanées, il mesure 116 tok/s par requête et 231 ms avant le premier token.

Ce genre de compte rendu dit où se joue vraiment l'inférence locale : moins dans le choix du modèle que dans l'empilement de la quantization, du moteur et du décodage spéculatif. Avec, en creux, la même question que pour les scores : ce que l'on mesure dépend entièrement du montage.

Clés API volées au nom de la distillation

OpenCode, agent de programmation open source, a confirmé samedi 17 octobre une intrusion qui a pu exposer les clés API OpenAI, Anthropic et Google de 1,4 % des utilisateurs de sa Console. L'entreprise relie l'incident à une « attaque par distillation », méthode qui consiste à exploiter un modèle pour en entraîner un autre. Des victimes signalent déjà des frais de plusieurs centaines de dollars.

Le scénario n'est pas exotique : un agent qui détient les clés de trois fournisseurs devient une cible de choix, et le vol se monnaye directement en tokens consommés ailleurs. La surface d'attaque n'est plus le modèle, mais l'outillage qui l'entoure.

À comparer avec une autre actualité de la semaine : Microsoft propose une méthode fondée sur l'IA pour corriger les erreurs des modèles météo au-delà de quinze jours, sans exiger une grosse puissance informatique. Résultats encourageants, précise le Journal du Geek, mais pas de quoi prévoir le temps avec certitude.

Et maintenant ?

Un fil relie ces dépêches : l'IA y est jugée sur ce qu'elle tient vraiment — un score reproductible, 24 Go de mémoire, un débit par requête, des clés qui ne fuitent pas. La mesure reste le maillon faible, comme le montre l'écart entre 42,3 % et 31,82 % sur un seul et même test. Microsoft illustre une autre approche : corriger les erreurs d'un modèle météo existant plutôt que le remplacer, avec des résultats encourageants mais sans certitude au-delà de quinze jours.