Kyojin fait tenir deux MoE de 300B sur un mini-PC de 128 Go

300B sur un bureau, 3,46B actifs chez Aleph Alpha

Le moteur Kyojin, construit sur ExLlamaV3 pour Strix Halo (gfx1151, ROCm), fait tenir deux modèles MoE de classe 300B chacun sur une machine unique de 128 Go. Les mesures publiées sur un Ryzen AI Max+ 395 donnent 580 tok/s en prefill à 3,5K et 26 à 30 tok/s en décodage pour GLM-5.3-Flash (99,7 Go), contre jusqu'à 44 tok/s en code pour MiMo-V2.6-Flash-MOPD (105 Go). Les poids de MiMo viennent d'une quantification maison ; le pack GLM mélange des tenseurs EXL3 publics de turboderp en 2,05 et 3,05 bpw.

La même semaine, Aleph Alpha met en ligne Kolibri-1 sur Hugging Face : 78 milliards de paramètres, dont 3,46 milliards actifs, sous licence Apache 2.0. Le modèle revendique un contexte allant jusqu'à 1 million de tokens, et le laboratoire allemand accompagne la publication d'un rapport technique téléchargeable en PDF.

Deux approches pour un même objectif : ramener le coût d'inférence à ce qu'une machine unique peut absorber, en jouant sur la quantification côté Kyojin et sur une architecture à paramètres actifs réduits côté Kolibri.

Hillock : le RAG sans base vectorielle

Un développeur publie Hillock, un projet open source qui remplace les bases vectorielles par SQLite et des hypervecteurs SIMD, sous 1,2 Go de VRAM. Le principe : extraire des faits relationnels propres via des bi-encodeurs légers, en cinq secondes, sans passer par le LLM génératif.

Deux objectifs sont affichés. D'abord ne pas mobiliser la VRAM du modèle principal. Ensuite limiter les hallucinations : selon l'auteur, la similarité cosinus échoue souvent à rejeter les faux positifs, ce qui justifie une couche de faits explicites plutôt qu'un simple voisinage vectoriel.

L'approche ne remplace pas le modèle, elle déplace la récupération d'information hors de son espace mémoire. Pour quiconque fait tourner un gros modèle en local sur une machine unique, la question du budget VRAM n'est pas théorique.

Unitree : un seul modèle pour 64 tâches

Unitree Robotics présente UnifoLM-WLA-1.0, un modèle de fondation humanoïde de 6B paramètres, entraîné sur environ 2 500 heures de données issues de robots réels. Un seul modèle couvre 64 tâches : 10 de corps entier et 54 sur table, avec pincements parallèles ou deux mains dextres.

La démonstration tourne sur le robot G1 : faire le lit, charger la machine à laver, plier du linge, trier des objets. Les 64 tâches sont donc couvertes par un même modèle, là où l'on empile souvent des politiques spécialisées.

À 6B paramètres, le format reste modeste comparé aux MoE de classe 300B évoqués plus haut — mais l'enjeu n'est pas la taille du modèle, il est dans les données d'entraînement, issues de machines réelles.

Nvidia et SoftBank soldent la levée d'OpenAI

Nvidia et SoftBank ont versé le 1er octobre 2026 leurs dernières tranches de 10 milliards de dollars (environ 9 milliards d'euros) chacune à OpenAI. Ces paiements soldent la levée de 122 milliards de dollars annoncée en mars, dont environ 90 % provient de ces deux groupes et d'Amazon.

Le détail qui retient l'attention : Nvidia finance ainsi son meilleur client pour les GPU. Le montant et le calendrier sont publics, la lecture stratégique l'est moins.

Et maintenant ?

Deux mouvements se croisent sans se confondre. D'un côté, une pression continue à l'efficacité : des modèles à paramètres actifs réduits, des tenseurs quantifiés en 2 bpw, un moteur comme Kyojin qui parie sur du matériel AMD grand public, et une couche de récupération qui refuse d'occuper la VRAM du modèle. De l'autre, une concentration de capital sans équivalent, où Nvidia et SoftBank pèsent à eux seuls l'essentiel d'une levée de 122 milliards de dollars. Les deux courbes peuvent coexister longtemps : l'optimisation locale ne pèse pas sur les montants investis dans les gros acteurs.