Inférence locale : vieilles V100, Jetson Thor et mini PC à 192 Go

Trois V100 dans un R740, et un moteur réécrit

Sur r/LocalLLaMA, un développeur présente un moteur d'inférence qui fait tourner Qwen-Flash-Next à près de 400 tokens par seconde. Le montage tient sur trois V100 32 Go installées dans un vieux R740 — trois cartes de 32 Go chacune, du matériel de datacenter déclassé, remis au service de l'inférence locale.

Le code a été forké depuis strata, mais l'essentiel du moteur a été reconstruit pour l'ancienne génération Volta. Toute la nuance est là : les V100 ne sont plus les cartes mises en avant, et leur mémoire reste exploitable à condition de reprendre les couches basses du moteur plutôt que de dépendre de kernels taillés pour du silicium récent.

Le geste intéressant n'est pas le chiffre en soi, mais ce qu'il déplace : la question devient moins « quelle carte acheter » que « qu'est-ce qu'on peut encore tirer de ce qui est déjà là ».

Jetson Thor : 40 tok/s sans sacrifier la précision

Embedl détaille les performances de Qwen3.8-27B sur Jetson Thor : 39,6 tok/s en décodage, 23,6 tok/s de bout en bout, 24,8 GiB au pic. Trois briques expliquent ces chiffres : une quantification INT4 maison (environ la moitié de l'erreur d'AWQ), un LM head « FlashHead » et une tête MTP pour le décodage spéculatif, le tout sur TensorRT Edge-LLM.

La précision reste annoncée au niveau FP16 : 96,4 sur GSM8K, 83,5 sur IFEval, 79,1 sur MMLU-Pro. Selon ces mesures, la compression mémoire ne se paie donc pas d'un effondrement des scores — c'est précisément ce que ce genre de montage cherche à éviter.

Le mini PC qui pousse la mémoire à 192 Go

Côté boîtier, le GMKtec EVO-X5 Pro est l'une des premières machines à embarquer le Ryzen AI Max+ PRO 495, la mise à jour de la puce Strix Halo d'AMD. Le processeur progresse à peine ; c'est la mémoire qui bouge, de 128 à 192 Go.

Cette réserve compte pour l'inférence locale : elle déplace la limite du côté de ce qu'on peut charger, pas de la vitesse brute. De quoi faire tourner chez soi des modèles qu'aucun mini PC ne parvenait à charger jusqu'ici, selon Frandroid.

Le contraste avec le montage V100 est instructif : d'un côté on recycle des accélérateurs de datacenter et on réécrit le moteur, de l'autre on achète de la RAM. Deux façons de contourner le même mur.

RTX 5090 introuvable, contrats à 120,5 Md$

Deux autres signaux, sans lien démontré entre eux, touchent l'approvisionnement en calcul. Sur r/LocalLLaMA, un message rapporte que NVIDIA n'accepterait plus les commandes de RTX 5090 passées par ses partenaires fabricants de cartes, les précommandes étant elles aussi indisponibles. Le post ne précise ni les raisons de cette situation ni sa durée. Pour ceux qui font tourner des modèles en local, la disponibilité de cette carte pèse directement.

À l'autre bout de l'échelle, un post publié le 26 octobre sur le subreddit r/ClaudeAI affirme qu'Anthropic verserait à SpaceX jusqu'à 120,5 milliards de dollars pour du calcul IA. S'il se confirme, le montant en ferait l'un des plus gros contrats d'infrastructure de calcul associés à un laboratoire d'IA. Le message ne précise ni échéance, ni volume de puissance, ni nature exacte de l'accord.

Et maintenant ?

Les deux extrémités du marché se dessinent sans se contredire : des contrats à l'échelle de dizaines de milliards d'un côté, des V100 recyclées et des mini PC poussés à 192 Go de RAM de l'autre. Entre les deux, la carte grand public reste le point de passage obligé pour beaucoup — et sa disponibilité décidera de qui peut faire tourner quoi, sur quel matériel et à quelle vitesse.