FPGA à 280 $, deux MoE de 300B sur 128 Go : l'IA locale avance par les bords

Un FPGA de mineur pour Qwen3.5 9B

Un développeur de r/LocalLLaMA fait tourner un Qwen3.5 9B en INT4 sur une carte SQRL FK33 achetée 280 $ sur eBay. La carte vient du minage de cryptomonnaies et embarque 8 Go de HBM2 pour environ 400 Go/s de bande passante.

Le débit mesuré atteint 2 tokens par seconde, à 75 MHz. Monter la fréquence exigerait deux chantiers distincts : optimiser le RTL et augmenter la tension du cœur. Rien qui se fasse en changeant un paramètre de compilation.

L'objectif affiché est de couvrir la plage des modèles de 9B à 27B. Jusqu'ici, aucun modèle de taille frontière ne justifiait ce genre d'expérimentation sur FPGA.

Kyojin : deux MoE de 300B sur une seule machine

Le moteur Kyojin prend le problème par le logiciel. Construit sur ExLlamaV3 pour Strix Halo (gfx1151, ROCm), il fait tenir deux modèles MoE de classe 300B chacun sur une seule machine de 128 Go.

Les mesures ont été prises sur un Ryzen AI Max+ 395. GLM-5.3-Flash, 99,7 Go, atteint 580 tok/s en prefill à 3,5K et 26 à 30 tok/s en décodage. MiMo-V2.6-Flash-MOPD, 105 Go, grimpe à 44 tok/s sur du code.

Côté poids, les deux packs ne viennent pas du même endroit : les MiMo sortent d'une quantification maison, quand le pack GLM mélange des tenseurs EXL3 publics de turboderp en 2,05 et 3,05 bits par poids. La mécanique tient autant à la quantification qu'au moteur qui la sert.

Qwen3.5 comme socle, des robots à la traduction

Deux dépêches de la semaine partagent un même socle : Qwen3.5. Bilibili publie Index-Translate, une famille de modèles de traduction multilingue bâtie dessus. Les modèles texte couvrent 150 langues et suivent des consignes de terminologie comme de formatage. La famille s'étend à la parole et au document entier : Index-Echo produit des sous-titres ou une voix à partir de la voix du locuteur, et Index-NativeLong traduit un document complet en conservant le contexte d'un passage à l'autre.

Chez Unitree Robotics, c'est UnifoLM-WLA-1.0 : un modèle de fondation humanoïde de 6B paramètres, entraîné sur environ 2 500 heures de données issues de robots réels. Un seul modèle couvre 64 tâches — dont 10 de corps entier et 54 sur table, avec pincements parallèles ou deux mains dextres.

La démonstration tourne sur le robot G1, sur des gestes quotidiens : faire le lit, charger la machine à laver, plier du linge, trier des objets. Le même vocabulaire technique revient d'un bout à l'autre de l'écosystème — un modèle unique, plusieurs tâches, des données prises dans le réel.

Pendant ce temps, l'argent va vers OpenAI

Nvidia et SoftBank ont versé le 1er octobre 2026 leurs dernières tranches de 10 milliards de dollars chacune — environ 9 milliards d'euros — à OpenAI. Ces paiements soldent la levée de 122 milliards de dollars annoncée en mars, dont environ 90 % provient de ces deux groupes et d'Amazon.

Le raccourci mérite d'être reposé tel quel : Nvidia finance ainsi son meilleur client pour les GPU.

Et maintenant ?

Entre un FPGA de récupération à 2 tokens par seconde et un mini-PC de 128 Go qui fait tenir deux MoE de 300B, l'inférence locale progresse sur deux fronts distincts : le matériel détourné et l'ordonnancement des poids. Le reste de l'écosystème suit la même pente, des modèles spécialisés adossés à des socles ouverts — un 6B humanoïde, de la traduction en 150 langues. À l'autre bout de l'échelle, les 122 milliards de dollars levés par OpenAI en mars rappellent que le calcul de pointe, lui, ne se bricole pas.