552 milliards de paramètres sur une RTX 3090 Ti : le local change d'échelle

Un MoE de 552B sur 24 Go de VRAM

Le matériel décrit sur r/LocalLLaMA n'a rien d'exotique : Gentoo Linux, un Ryzen Threadripper 3990X, 128 Go de DDR4 et une unique RTX 3090 Ti de 24 Go. Une configuration qui a six ans. Dessus, l'utilisateur fait tourner DeepSeek-V4.1-Flash-1017, un MoE de 552 milliards de paramètres, à 35 tok/s en décodage.

Le second modèle testé, Qwen3.8-Flash-Next, monte à 130 tok/s. Le fil ne détaille ni la répartition exacte entre GPU et mémoire système, ni la quantification employée. Un point est en revanche affirmé : ces résultats sont nettement meilleurs qu'avec les modèles plus anciens, essayés il y a quelques mois sur la même machine.

C'est là le vrai signal. Pas qu'un modèle géant tienne dans une carte grand public — les 24 Go de VRAM n'y suffisent pas — mais que le couple logiciel/modèle progresse à matériel constant.

tandem.cpp : le CPU prend le reliquat

La mécanique est décrite dans un autre fil : tandem.cpp, un jeu de patches pour llama.cpp, vise précisément les MoE trop gros pour la VRAM. Le principe : les experts les plus sollicités restent sur le GPU, le CPU se charge du reste. L'outil est ciblé sur le décodage mono-utilisateur, et réglé pour Qwen3.8.

Les chiffres annoncés : sur une machine i5-12400F, 64 Go de DDR4 et une RTX 4090, Qwen3.8-Flash-Next passe de 29,8 à 97,3 tok/s sur GSM8K, soit 3,3×. Les autres MoE testés y gagnent entre 1,4 et 2,1×.

Rien de magique : pas de VRAM supplémentaire, pas de nouveau silicium. De l'ordonnancement — placer les bons experts au bon endroit. Les deux fils ne se citent pas, mais ils traitent la même famille de problèmes : faire tenir un modèle hors de sa carte, sans s'effondrer en débit.

Entraîner un milliard de paramètres sans datacenter

CrowdGPT passe en version 2.6, présentée comme une mise à jour d'ampleur de son LLM collaboratif. Objectif affiché : entraîner un modèle d'un milliard de paramètres sans datacenter, et sans les millions de dollars que mobilisent les entreprises d'IA.

La méthode : chacun entraîne sur son propre PC, puis verse sa contribution au modèle global, via un protocole où la direction du projet se décide collectivement. Les porteurs du projet le qualifient de preuve de concept, extensible à des modèles denses plus gros ou à des architectures MoE.

Un milliard de paramètres, c'est peu face aux 552 milliards du premier fil. Mais la question posée n'est pas la taille, c'est l'accès aux moyens d'entraîner.

En amont : substrats et orbite

Journal du Geek rapporte que Tesla et Nvidia prévoiraient d'investir près de 3 milliards de dollars dans les capacités de production de Samsung. En échange : un approvisionnement à long terme en substrats, composants discrets mais nécessaires à leurs puces IA. L'opération se joue en amont des fabricants de semi-conducteurs, sur un maillon dont on parle rarement.

Chez Google, la contrainte change de nature. Le satellite-datacenter de la firme embarque quatre TPU et produit jusqu'à 1 kW d'électricité. Il doit ouvrir la voie à des réseaux de satellites rapprochés capables de faire de l'inférence en orbite. Sauf que la consommation des puces impose de n'en allumer qu'une à la fois, pendant une vingtaine de minutes, ce qui complique encore les communications entre l'espace et le sol.

À terre, on sécurise des substrats. En orbite, on compte les watts. Deux façons de buter sur les mêmes limites physiques.

Et maintenant ?

Ce qui ressort de ces fils, c'est un déplacement des coûts. L'entraînement à grande échelle reste hors de portée d'une carte graphique : il se règle en milliards de dollars de substrats et en mégawatts. L'inférence, elle, descend — 552 milliards de paramètres à 35 tok/s sur une carte de 24 Go, un milliard de paramètres entraîné de façon contributive. Les deux courbes ne se rejoindront pas demain, mais elles ne pointent plus dans la même direction.