27B sur 16 Go, 300B sur un mini-PC : le local gagne du terrain

Ninfer 4080 : 100k de contexte sur une carte de 16 Go

Le projet Ninfer 4080 fait tourner le modèle ISTA-DASLab-Qwen-3.8-27B-GSQ sur une RTX 4080 de 16 Go, avec 100k de contexte. L'auteur annonce jusqu'à 2 720 tok/s en préfill et 262 tok/s en génération, là où les projets Ninfer 5090, 4090 et 3090 restaient hors de portée de cette classe de GPU.

Le code est partagé sur GitHub. Le détail qui rend l'affaire intéressante : son auteur dit avoir vingt ans d'expérience en ingénierie logicielle, mais aucune en développement de kernels GPU. L'optimisation qui permet de tenir un 27B en contexte long sur 16 Go de mémoire vidéo ne vient donc pas d'un spécialiste du genre.

La contrainte mémoire est le point dur de l'exercice : plus le contexte s'allonge, plus elle se resserre. Ici, elle est tenue sans sortir de la classe 16 Go.

Kyojin : deux MoE de classe 300B sur une seule machine

Kyojin est construit sur ExLlamaV3 pour Strix Halo (gfx1151, ROCm), et fait tenir deux modèles MoE de classe 300B chacun sur une seule machine de 128 Go. Les mesures ont été prises sur un Ryzen AI Max+ 395 : GLM-5.3-Flash (99,7 Go) atteint 580 tok/s en préfill à 3,5K, puis 26 à 30 tok/s en décodage ; MiMo-V2.6-Flash-MOPD (105 Go) grimpe à 44 tok/s sur du code.

Les poids MiMo viennent d'une quantification maison. Le pack GLM, lui, mélange des tenseurs EXL3 publics de turboderp en 2,05 et 3,05 bpw. Des débits et des volumes qui ne sortent pas d'un datacenter, mais d'un mini-PC.

Unitree : un modèle humanoïde de 6B pour 64 tâches

Unitree Robotics présente UnifoLM-WLA-1.0, un modèle de fondation humanoïde de 6B paramètres, entraîné sur environ 2 500 heures de données issues de robots réels. Un seul modèle couvre 64 tâches : 10 de corps entier et 54 sur table, avec pincements parallèles ou deux mains dextres.

La démonstration tourne sur le robot G1 : faire le lit, charger la machine à laver, plier du linge, trier des objets. Le format 6B tranche avec la course au gigantisme, et les 2 500 heures d'entraînement viennent du monde physique, pas du web.

Le code généré et la logique qui manque

Un développeur raconte une revue de code récente : une PR d'environ 600 lignes, générée, structurée et ouverte en moins de vingt minutes. Syntaxe propre, tests de base passés — sur le papier, tout est en ordre.

Jusqu'à la question sur un cas limite du gestionnaire de requêtes. Réponse de l'auteur : « Attends, je demande au modèle ». Le fil contredit le discours des « 10x » : le goulot d'étranglement n'était pas la frappe, mais la compréhension du système.

C'est le revers de la génération rapide. Produire du code n'a jamais été aussi peu coûteux ; savoir ce qu'il fait dans un cas limite reste une autre affaire, et c'est là que se loge la dette.

Et maintenant ?

Nvidia et SoftBank ont versé le 1er octobre 2026 leurs dernières tranches de 10 milliards de dollars chacune à OpenAI, soit environ 9 milliards d'euros. Ces paiements soldent la levée de 122 milliards de dollars annoncée en mars, dont environ 90 % provient de ces deux groupes et d'Amazon. Nvidia finance ainsi son meilleur client pour les GPU. En bas de l'échelle, on fait tenir un 27B sur une RTX 4080 et deux MoE de 300B sur un mini-PC de 128 Go ; en haut, les montants se comptent en dizaines de milliards. Les deux mouvements ne s'opposent pas nécessairement, mais ils ne se racontent pas de la même façon.