Qwen3.8-Flash-Next : 125 milliards de paramètres sur 16 Go de VRAM

Le SSD NVMe plutôt que la RAM système

L'idée vient d'ailleurs. Un membre de r/LocalLLaMA a repris l'approche de glm-flash-lite, qui faisait déjà tourner GLM-5.3 avec une empreinte mémoire étonnamment faible, et l'a appliquée à Qwen3.8-Flash-Next, un modèle de 125 milliards de paramètres. Toute la différence tient dans l'emplacement des experts : là où des setups de type Strata les épinglent en RAM système, pour environ 48 à 64 Go, cette configuration les déporte directement sur le SSD NVMe.

Le résultat, sur une RTX 4090 avec 16 Go de VRAM et seulement 8 Go de RAM alloués : 28 à 33 tok/s en prose, 19 à 22 tok/s en code sur contexte court, et 20,8 tok/s en décodage à 100k de contexte. Les débits restent modestes, mais le compromis est assumé — faire tenir un gros modèle sur une machine modeste.

Même modèle, tout autre école

Un second post décrit le même Qwen3.8-Flash-Next, mais en quantification IQ3_S, sur le moteur Basalt, avec une RTX 5080 16 Go, un Core Ultra 9 285K et 62 Go de DDR5. Ici, 262K de contexte et un KV cache en int8.

Sur une session de codage agentique de 103 requêtes, montant jusqu'à 130K de contexte, le traitement de prompt atteint 5 011 t/s en moyenne et 5 118 en pic ; la génération 153 t/s en moyenne pour 262 en pic. Il reste 5,2 Go de RAM libres.

Les deux configurations ne décrivent ni la même machine ni le même moteur : les comparer token/s contre token/s n'aurait pas grand sens. Ce qui se lit, en revanche, c'est le poids des choix logiciels — quantification, moteur d'inférence, taille du KV cache — dans ce qu'on parvient à faire tenir sur 16 Go de VRAM.

Apple et DeepSeek sur la même trajectoire

Sur Mac, ANEMLL Forge 0.2.1 fait tourner Qwen3.8-27B sur le Neural Engine d'un Mac Mini M6 doté de 32 Go, jusqu'à 192K de contexte. La version ajoute un cache K/V en INT8, moitié du FP16, et un drafter plus petit partageant la tête de sortie du modèle cible : 0,86 Go d'ANE économisé, à vitesse égale. Le débit dépend fortement du contenu — 35 à 62 tok/s en JSON, 18 à 32 en code, 10 à 17 en prose — et le prefill atteint 260 tok/s en contexte court, contre 62 à 192K.

Chez DeepSeek, c'est llama.cpp qui se prépare. Une pull request d'am17an (#31086) porte sur l'ajout de DeepSeek-V4.1-Flash au moteur d'inférence de ggml-org. Le modèle est publié par deepseek-ai sur Hugging Face, accompagné d'un rapport technique en PDF, pour une taille annoncée de 763 milliards de paramètres.

Les RTX 30 et 40 débridées, et plus chères

Côté NVIDIA grand public, un outil de déblocage présenté sur r/LocalLLaMA permettrait aux RTX 30 et RTX 40 de doubler leur compute pour l'inférence de grands modèles de langage, avec un gain pouvant atteindre 2X sur la vitesse de prefill. Les gains annoncés iraient jusqu'à 30x/40x, en s'inspirant du CMP170HX.

Le revers est déjà là : les prix des cartes concernées grimpent. Une optimisation logicielle qui rend une génération de GPU plus attractive finit aussi par renchérir le matériel qu'elle exploite.

Et maintenant ?

Ce qui relie ces dépêches, c'est moins la puissance de calcul que la hiérarchie mémoire. On déporte des experts sur un SSD NVMe, on compresse un cache K/V en INT8, on fait partager une tête de sortie entre le modèle cible et son drafter : à chaque fois, le gain vient d'un déplacement de données plutôt que d'un surcroît de calcul. Les tailles annoncées — 125 milliards de paramètres pour Qwen3.8-Flash-Next, 763 milliards pour DeepSeek-V4.1-Flash — mesurent l'écart entre ce que la communauté veut exécuter en local et ce que la VRAM grand public autorise.