Moteurs d'inférence sur-mesure : la généralité n'est plus la priorité

Le pari du sur-mesure

Pendant des années, la force de llama.cpp ou de vLLM tenait à leur généralité : un moteur, des dizaines de modèles, des architectures matérielles variées. Une nouvelle catégorie d'outils prend le chemin inverse. Strata, ninfer, DwarfStar, Splash, llamAmpere ou gufo assument de se spécialiser sur un petit nombre de modèles, parfois sur une seule famille de matériel, comme Strix Halo.

Le compromis est explicite : on renonce à la couverture universelle pour gagner ce que la généralité interdit — des optimisations taillées pour une charge précise. Dans le fil r/LocalLLaMA qui documente cette tendance, l'auteur y voit un pas de plus vers la démocratisation et la décentralisation de l'intelligence. Moins de modèles supportés, donc, mais des modèles qui tournent réellement sur la machine de l'utilisateur.

Kyojin : deux MoE de 300B sur 128 Go

Le moteur Kyojin illustre concrètement ce que cette spécialisation permet. Construit sur ExLlamaV3 pour Strix Halo (gfx1151, ROCm), il fait tenir deux modèles MoE de classe 300B chacun sur une seule machine de 128 Go. Les mesures ont été prises sur un Ryzen AI Max+ 395.

Les chiffres : GLM-5.3-Flash, avec ses 99,7 Go de poids, atteint 580 tok/s en prefill sur un contexte de 3,5K et 26 à 30 tok/s en décodage. MiMo-V2.6-Flash-MOPD, 105 Go, grimpe à 44 tok/s en code. Côté quantifications, les poids de MiMo viennent d'une quantification maison, tandis que le pack GLM mélange des tenseurs EXL3 publics de turboderp en 2,05 et 3,05 bpw.

Ninfer 4080 : 100k de contexte sur 16 Go

La même logique s'applique à des GPU plus modestes. Un développeur publie Ninfer 4080, qui fait tourner ISTA-DASLab-Qwen-3.8-27B-GSQ sur une RTX 4080 de 16 Go avec 100 000 tokens de contexte. Il annonce jusqu'à 2 720 tok/s en prefill et 262 tok/s en génération.

Le point notable, c'est la classe de matériel visée : les projets Ninfer 5090, 4090 et 3090 restaient hors de portée de cette catégorie de GPU. Le code est partagé sur GitHub. L'auteur précise avoir 20 ans d'expérience en ingénierie logicielle, mais aucune en développement de kernels GPU — un détail qui en dit long sur ce que la spécialisation rend accessible.

À l'autre extrémité, les capitaux et les robots

Nvidia et SoftBank ont versé le 1er octobre 2026 leurs dernières tranches de 10 milliards de dollars chacune (environ 9 milliards d'euros) à OpenAI. Ces paiements soldent la levée de 122 milliards de dollars annoncée en mars, dont environ 90 % provient de ces deux groupes et d'Amazon. Nvidia finance ainsi son meilleur client pour les GPU.

Sur le terrain robotique, Unitree Robotics présente UnifoLM-WLA-1.0, un modèle de fondation humanoïde de 6B paramètres entraîné sur environ 2 500 heures de données issues de robots réels. Un seul modèle couvre 64 tâches : 10 de corps entier et 54 sur table, avec pincements parallèles ou deux mains dextres. La démonstration tourne sur le robot G1 : faire le lit, charger la machine à laver, plier du linge, trier des objets.

Et maintenant ?

Les deux bouts de la chaîne se répondent sans se confondre. D'un côté, des moteurs qui refusent la généralité pour faire tenir des modèles de classe 300B sur 128 Go, ou du contexte long sur 16 Go de VRAM : le travail d'optimisation se déplace vers des cas d'usage précis, portés parfois par des développeurs isolés. De l'autre, des dizaines de milliards de dollars qui circulent entre un fabricant de GPU et son principal client, et des modèles de fondation robotiques nourris d'heures de gestes réels. Ce qui se joue en local avance sur un autre terrain, celui des contraintes matérielles et de l'ingénierie fine.