LocalMind, Mistral Large 4, EmbeddingGemma 2 : où le calcul local s'élargit

Un MoE de 37 Go dans un onglet, sur 24 Go de RAM

LocalMind est une page web statique : pas de serveur, pas d'installation. Le projet exécute des modèles via WebGPU, et va plus loin qu'un simple portage dans le navigateur : deux moteurs streamant les poids d'experts depuis le disque permettent à un onglet de dépasser la RAM de la machine.

Le résultat tient en une configuration : un Gemma 4 26B-A4B et un Qwen3.6 MoE de 37 Go tournent sur un MacBook M4 Pro de 24 Go, avec une sortie identique à celle de llama.cpp. La répartition est explicite — les poids denses, les routeurs et le KV cache restent sur le GPU, tandis que les experts routés demeurent sur disque.

La conséquence pratique : le modèle n'a plus besoin de tenir en mémoire. Le disque fait office de réservoir, le GPU ne conserve que ce qui doit être parcouru à chaque token.

Mistral Large 4 : 1 000 milliards de paramètres, poids ouverts promis

Mistral Large 4 affiche 1 000 milliards de paramètres, dont 49 milliards actifs — un rapport typique d'architecture MoE, où seule une fraction des paramètres est mobilisée à chaque token. Les poids ouverts sont annoncés pour la fin du mois ; l'aperçu est déjà ouvert depuis le 6 octobre selon ActuIA, qui avance de son côté 1 050 milliards de paramètres.

Le laboratoire a entraîné le modèle sur son propre cluster de 3 800 GPU NVIDIA Grace Blackwell. Côté API, deux niveaux de raisonnement seulement sont exposés : « none » et « high ».

Sur Artificial Analysis, Mistral Large 4 score 38, juste derrière DeepSeek 4.1 Flash. Pour situer le chemin parcouru, Mistral Large 3 pointait à 9 en décembre.

« Chonky », la cybersécurité et les modèles chinois

Sur r/LocalLLaMA, la communauté relève surtout l'humour du nom retenu : « Chonky ». Le reste de la discussion porte sur la place du modèle dans le paysage.

ActuIA rapporte que Mistral le présente comme le plus capable des modèles ouverts hors de Chine, et que les mesures indépendantes confirment un rattrapage. La cybersécurité s'impose comme argument commercial face aux modèles ouverts chinois, à côté des mesures de performance.

EmbeddingGemma 2 : texte, images, audio dans 768 dimensions

Avec EmbeddingGemma 2, Google DeepMind publie un modèle d'embedding multimodal open source qui projette texte — code inclus —, images, vidéo et audio dans un espace vectoriel unique de 768 dimensions. Le modèle totalise 740M paramètres, répartis en 270M pour le texte, 170M pour la vision et 300M pour l'audio.

La cible est explicitement grand public : mobiles et laptops, pour la recherche, le RAG ou la classification en local. EmbeddingGemma 2 s'appuie sur les avancées de Gemma 4.

Et maintenant ?

Trois publications, trois façons de déplacer le calcul : dans l'onglet, dans des poids ouverts, dans un espace vectoriel compact. LocalMind contourne la RAM en gardant les experts sur disque, Mistral joue l'échelle du millier de milliards de paramètres avec des poids annoncés ouverts, EmbeddingGemma 2 ramène le multimodal dans 740M de paramètres. Chacune déplace la contrainte plutôt qu'elle ne la supprime — bande passante disque d'un côté, accès aux poids de l'autre.