IA locale : un MoE de 125B dans 64 Go de RAM, et WebGPU en renfort

capy-flash : 125B de paramètres, 57 Go de pic

capy-flash, moteur d'inférence open-source, passe en v0.7.1 avec une performance qui mérite le détour : Qwen3.8-Flash-Next, un modèle MoE de 125 milliards de paramètres, tourne avec 64 Go de RAM, pour un pic mesuré à environ 57 Go.

L'astuce tient en deux étages. Les experts routés sont quantifiés en ~3 bits via les méthodes GSQ d'ISTA-DASLab, ce qui ramène leur empreinte à 48 GiB. Les experts chauds restent en VRAM, le reste est calculé sur CPU.

Autrement dit, on ne charge jamais les 125B en mémoire : un MoE n'active qu'une fraction de ses experts à chaque token, et la quantification à 3 bits fait le reste. Le compromis est classique — une partie du calcul part sur le processeur, ce qui pèse sur le débit selon le routage. Mais le résultat est là : un modèle de cette taille sur une seule machine à 64 Go de RAM.

16 Go pour un 27B, et Q2_0 dans le WebGPU

La même dépêche signale que Qwen3.8-27B tient sur une carte de 16 Go : 13,9 Go de VRAM, 64k de contexte, et la vision. De quoi faire tourner un modèle sérieux sur une configuration grand public.

Même mouvement côté llama.cpp, avec la pull request #30914 qui propose d'ajouter le support de la quantification Q2_0 au backend WebGPU. Les tests ont été menés sur une RTX 3060 avec Dawn WebGPU natif, en comparant master et la PR via llama-bench :

• Ternary Bonsai 1.7B Q2_0 : prefill de 35,03 à 1 915,91 t/s, génération de 14,02 à 94,75 t/s
• Bonsai 2 2B Q2_0 : prefill de 36,40 à 2 039,89 t/s, génération de 12,57 à 71,72 t/s

Les écarts sont spectaculaires, mais ils portent sur des modèles de 1,7 et 2 milliards de paramètres quantifiés en 2 bits — une précision qui se paie quelque part. La question du rendu réel reste ouverte ; celle du support WebGPU, elle, avance.

Le cloud à 1 521 tokens par seconde

Dans le cloud, Fireworks AI affirme faire tourner DeepSeek V4.1 Flash à plus de 1 521 tokens par seconde grâce à sa nouvelle infrastructure « Ultrafast ». L'hébergeur américain en tire une démonstration : coder un jeu complet en onze secondes. Le titre original de Frandroid parle d'un Tetris généré sept fois plus vite qu'avec Claude.

À prendre avec des pincettes. Frandroid le dit lui-même : la véracité technique de ces chiffres et la grille tarifaire associée restent un mystère. Un débit annoncé par un hébergeur, sans protocole de mesure public, ne dit rien de la qualité des sorties ni du coût réel au token.

La comparaison avec Claude, en particulier, ne s'appuie sur aucun protocole détaillé dans la dépêche. Ce n'est pas un argument contre l'infrastructure « Ultrafast » — juste une raison d'attendre des chiffres reproductibles.

Quand l'IA trouve les failles

Pendant qu'on optimise les débits, les modèles servent aussi à casser des choses. PHP a corrigé le 21 octobre deux failles critiques permettant l'exécution de code à distance. Le défaut à l'origine de l'une d'elles était connu depuis 2024, mais son exploitation n'a été démontrée qu'à l'été, avec l'aide de modèles d'IA.

01net donne un nom à la paire, PHP2Shell, et un ordre de grandeur : PHP fait tourner environ 70 % des sites web. Les cyberattaques exploitant ces vulnérabilités ont déjà commencé. Particularité : les failles ont été débusquées par l'intelligence artificielle, via les modèles de pointe de Google et d'OpenAI.

Côté français, à la demande de l'Anssi, le ministère de l'Intérieur a coupé ses sites exposés. Le décalage entre un défaut repéré en 2024 et une exploitation démontrée des mois plus tard dit assez ce que change l'accélération de la recherche de vulnérabilités par modèle.

Et maintenant ?

Les trois premières dépêches racontent la même chose sous trois angles : la quantification et l'ingénierie d'inférence descendent toujours plus bas dans le matériel disponible, du 125B à 3 bits sur 64 Go de RAM au Q2_0 dans WebGPU, pendant que le cloud empile les tokens par seconde. La quatrième rappelle le revers : les mêmes modèles servent à trouver des failles critiques dans un langage qui équipe environ 70 % du web.