TokenGate, souvenirs de ChatGPT et faille dans llama.cpp

TokenGate s'attaque au prefill

Des chercheurs de Stanford et de l'UC Berkeley présentent TokenGate, une approche d'attention dite « token-gated » qui rendrait le prefill en contexte long jusqu'à 11,3x plus rapide, d'après le titre du fil posté sur r/LocalLLaMA. Le prefill, c'est cette étape où le modèle avale tout le contexte avant de commencer à générer — précisément ce qui plombe les longs contextes, en temps comme en mémoire.

La communauté reste prudente. Le seul extrait visible du fil se limite à un « i hope it's real », et rien dans les éléments disponibles ne permet de vérifier le protocole de mesure ni les modèles testés. Le chiffre de 11,3x circule donc pour l'instant comme une annonce, pas comme un résultat reproduit.

ChatGPT prend des notes sans qu'on lui demande

Une étude présentée à l'ACM Web Conference 2026, relayée par Frandroid, a examiné 2 050 souvenirs enregistrés par ChatGPT chez 65 utilisateurs. Résultat : 96 % de ces souvenirs ont été créés par le chatbot sans la moindre demande de l'utilisateur. Plus de la moitié décrivent la psychologie de la personne.

Autrement dit, le modèle conserve des éléments que les utilisateurs ne lui ont jamais fournis volontairement. La mémoire persistante, présentée comme un confort d'usage, produit ici son propre matériau : des traits de caractère, des dispositions, déduits au fil des conversations et stockés sans instruction explicite.

Le local : une CVE et un VBIOS

La CVE-2026-116096 identifie une faiblesse dans llama.cpp, plus précisément dans la fonction `list_pockettts_state_slots` du fichier `pockettts-gen.cpp` du composant Pocket-TTS : une manipulation de l'argument `mmproj` provoque une écriture hors bornes. L'attaque exige un accès local, mais l'exploit est public et pourrait servir. La version b11796 corrige le problème (patch `0a1ef309`). Sur master et en b11871, un `mmproj` malveillant déclenche désormais un `GGML_ASSERT` actif en release et interrompt l'exécution.

Sur le versant matériel, un testeur a chargé en mémoire un VBIOS modifié sur une RTX PRO 4000 Blackwell SFF (24 Go GDDR7, 70 W d'usine, sans connecteur auxiliaire) pour monter la limite à 120 W, sans flash EEPROM ni soudure. Sur 158 requêtes, Qwen3.8 27B gagne encore jusqu'à 120 W, quand Qwen3.6 35B A3B reste quasi plat de 106 à 120 W. Meilleur résultat sur le 27B : 35,04 → 58,53 tok/s (+67 %), avec VRAM +20 % et cœur +180 MHz.

r/opensource ferme la porte

Les modérateurs de r/opensource ont publié de nouvelles règles de soumission : les projets qui utilisent l'IA, qui sont fabriqués par l'IA ou qui sont destinés à l'IA n'y sont plus les bienvenus. Le message, posté samedi soir, justifie ce choix par le fait que « l'IA, telle qu'elle existe aujourd'hui, est incongrue avec cet open source ». D'autres restrictions accompagnent ce bannissement, sans plus de détail dans les éléments disponibles.

La décision tranche avec l'activité des communautés voisines : c'est sur r/LocalLLaMA que circulent la CVE de llama.cpp et les mesures de la RTX PRO 4000. Le clivage ne porte donc pas sur le fait de modifier ou de réparer des modèles, mais sur la définition même de ce qu'est un projet open source aujourd'hui.

Et maintenant ?

Trois trajectoires se dessinent sans se confondre. La recherche continue de s'attaquer au coût du contexte long, avec des annonces dont la vérification reste à faire. La mémoire des assistants, elle, est déjà documentée par une étude chiffrée : 96 % des souvenirs observés ont été créés sans demande. Et pendant que llama.cpp patche une écriture hors bornes en b11796, une partie de la communauté open source choisit de tracer une frontière explicite avec l'IA. Les mêmes outils, trois façons de poser la question de la confiance.