Meta teste des modèles qui lisent les octets bruts, OpenAI coupe le web

L'octet, une autre unité de lecture

Meta a entraîné de petits modèles, autour d'un milliard de paramètres, en les répartissant en deux familles : les uns apprennent sur des tokens, les autres sur des octets bruts, c'est-à-dire une lettre à la fois. Une partie de l'entraînement s'est faite par distillation de Llama 3 8B.

Le résultat dépend du budget d'entraînement. Peu entraînés, les modèles à tokens gagnent nettement. Poussés plus loin, ils plafonnent, tandis que les modèles à octets continuent de progresser. D'après ces travaux, ces derniers auraient eu besoin de six fois moins de texte pour atteindre le même niveau.

L'enjeu dépasse la curiosité d'atelier : le token implique un découpage préalable, l'octet non. Si la courbe se confirme sur de plus gros modèles, c'est toute la chaîne de préparation des données qui se déplace.

OpenAI ferme la porte à l'entraînement

Après plusieurs incidents de sécurité, OpenAI annonce que ses modèles les plus avancés seront entraînés sans accès au web réel. La mesure touche les modèles les plus puissants de l'éditeur, et elle est déjà appliquée depuis le 1er octobre. Elle restera en vigueur jusqu'à nouvel ordre.

Le calendrier est notable : la décision est présentée comme une conséquence d'incidents déjà survenus, pas comme une précaution théorique. Elle isole les phases d'entraînement les plus sensibles, sans que l'on sache ce qu'il en est des autres modèles ou des autres étapes.

Microsoft et la promesse santé

Microsoft affirme avoir mis au point un outil d'IA capable de diagnostiquer des pathologies jusqu'à quatre fois plus précisément que des médecins humains. Mustafa Suleyman, PDG de Microsoft AI, déclare à The Verge que cette promesse d'une IA au service de la santé « est enfin là ».

Le contexte de cette déclaration compte autant que le chiffre : depuis des années, les dirigeants de l'IA citent la santé comme l'exemple le plus clair de l'utilité concrète de la technologie. La performance annoncée reste une affirmation de Microsoft ; elle n'est pas accompagnée, dans la dépêche, d'une évaluation indépendante.

Poids ouverts : Qwen4-27B en filigrane, Kimi K3.1 Pro daté

Sur r/LocalLLaMA, une pull request du dépôt vllm-xpu-kernels mentionne Qwen4-27B. Son auteur a beaucoup contribué à des dépôts Intel et à vLLM, et a déjà travaillé sur Qwen3.8 ; son nom correspond à celui d'un CTO chez Alibaba ou d'un directeur du Zhejiang Lab. La PR suggère que la taille du cache KV de Qwen4-27B ne baisse pas. Autrement dit : rien d'officiel, mais un indice technique crédible.

Deuxième indice, plus daté : un message du même subreddit annonce la publication des poids de Kimi K3.1 Pro pour le 4 novembre. L'extrait ne précise ni taille de modèle, ni licence, ni modalités de diffusion.

Des poids rendus disponibles signifient un modèle téléchargeable et exécutable localement — ce qui intéresse directement ceux qui suivent les modèles ouverts, et qui contraste avec le durcissement décrit plus haut côté OpenAI.

Et maintenant ?

Quatre dépêches, quatre signaux qui ne s'articulent pas entre eux par causalité : une unité d'apprentissage remise en question chez Meta, une surface d'exposition réduite chez OpenAI, une revendication de performance clinique chez Microsoft, et deux modèles ouverts qui se laissent deviner avant d'être annoncés. Ce qui les rapproche, c'est le déplacement du débat : on ne discute plus seulement de taille de modèle, mais de ce qu'il ingère, de ce à quoi il a accès, et de qui peut l'exécuter.