EmbeddingGemma 2, Mistral Large 4 et les boucles cachées de GPT-6

EmbeddingGemma 2 : 768 dimensions pour le texte, l'image, la vidéo et l'audio

Google DeepMind publie EmbeddingGemma 2, un modèle d'embedding multimodal open source. Sa particularité tient en une phrase : il projette dans un espace vectoriel unique de 768 dimensions du texte — code inclus —, des images, de la vidéo et de l'audio. Un même espace pour toutes les modalités, donc, plutôt qu'un modèle par type de contenu.

Le gabarit reste modeste : 740 millions de paramètres au total, répartis en 270 millions pour le texte, 170 millions pour la vision et 300 millions pour l'audio. La cible est explicitement le matériel grand public — mobiles et laptops — pour de la recherche, du RAG ou de la classification exécutés en local, sans dépendre d'une API distante.

Le modèle s'appuie sur les avancées de Gemma 4. Google DeepMind ne donne pas d'indication sur la licence ni sur une date de disponibilité au-delà de la publication sur Hugging Face.

Mistral Large 4 : 1 000 milliards de paramètres et un surnom

Mistral a ouvert le 6 octobre l'aperçu de Mistral Large 4. Le chiffre donne le vertige : 1 000 milliards de paramètres, dont 49 milliards actifs — ActuIA avance de son côté 1 050 milliards. Le laboratoire le présente comme le plus capable des modèles ouverts hors de Chine, et l'entraînement s'est fait sur son propre cluster de 3 800 GPU NVIDIA Grace Blackwell.

Les poids ouverts sont annoncés pour la fin du mois. En attendant, l'API n'expose que deux niveaux de raisonnement : « none » et « high ». Sur Artificial Analysis, le modèle score 38, juste derrière DeepSeek 4.1 Flash, contre 9 pour Mistral Large 3 en décembre. Les mesures indépendantes confirment un rattrapage, et la cybersécurité s'impose comme argument commercial face aux modèles ouverts chinois.

Sur r/LocalLLaMA, la blague a vite tourné : le nom retenu pour le modèle, « Chonky », amuse une communauté qui n'attendait pas tant d'autodérision de la part d'un laboratoire européen.

GPT-6 : Microsoft confirme les Looped Transformers, puis efface

Microsoft a confirmé, sur une page web publique, qu'OpenAI utilise des Looped Transformers dans la série GPT-6. La confirmation valide les informations du média The Information. La page a depuis été modifiée pour retirer ces éléments.

Ce qui y figurait : GPT-6.1 Sol effectuerait deux passes d'inférence, avec une mention évoquant « au lieu de trois ». GPT-6 et GPT-6.1 reposeraient sur le même modèle de base pré-entraîné, mais avec un post-entraînement différent et une boucle en moins.

La séquence est banale dans le secteur — une documentation interne se retrouve en ligne, puis disparaît — mais elle reste le seul point d'accès public documenté à l'architecture de la génération GPT-6.

Et maintenant ?

Trois dépêches, trois régimes de publicité. Un modèle d'embedding de 740 millions de paramètres qu'on télécharge et qu'on fait tourner sur son laptop ; un modèle de 1 000 milliards de paramètres dont les poids sont promis pour la fin du mois ; une architecture de frontier dont on ne connaît l'existence que par une page web supprimée depuis. La taille des modèles continue de grimper — la transparence sur leur fabrication, beaucoup moins.