llama.cpp accélère les quantifications basses, l'open source tient le cap

Dans llama.cpp, le gain se cache dans les bits bas

La dépêche vient de r/LocalLLaMA, relayée par l'utilisateur jacek2023 : la pull request #30517, signée am17an, propose un noyau MMVQ CUDA plus rapide pour llama.cpp, le projet open source porté par ggml-org. Le gain de vitesse annoncé est important.

La nuance compte autant que le chiffre : ce noyau ne vaut que pour certaines quantifications basses précision, typiquement Q2_K et Q3_K. Autrement dit, ceux qui font tourner des modèles compressés à l'extrême sur GPU NVIDIA sont les premiers concernés — pas les utilisateurs de quantifications plus confortables.

C'est un détail d'implémentation, mais il dit quelque chose du terrain : l'optimisation se joue désormais au niveau du noyau, pas seulement du modèle. Et elle se décide dans des pull requests, pas dans des communiqués.

Beam : 501 milliards de paramètres, 23 activés

Reflection publie Beam, un modèle ouvert texte-texte en architecture mixture-of-experts sparse : 501 milliards de paramètres au total, 23 milliards activés, pour une fenêtre de contexte d'un million de tokens. La version instruction-tuned sort en BF16, FP8 et NVFP4.

Le positionnement est explicite : développement surtout pour l'anglais, avec un raisonnement économe en tokens, le génie logiciel et l'usage d'outils agentiques comme cibles. On est donc sur un modèle pensé pour les chaînes d'agents et le code, pas pour le grand public.

Le rapport entre les deux nombres — 501 au total, 23 activés — résume la logique du MoE : beaucoup de capacité stockée, une fraction seulement sollicitée à chaque token. C'est précisément le genre d'architecture qui rend la question du matériel et de la quantification basse incontournable.

Pékin liste 23 technologies IA, l'open source explicitement exempté

Le 16 octobre 2026, Pékin a proposé de réviser le catalogue des technologies restreintes à l'export : 40 ajouts, dont 23 liés à l'IA — grands modèles, agents, clusters de calcul. Les technologies déjà rendues publiques via l'open source ou des publications académiques en sont explicitement exemptées.

La consultation publique court jusqu'au 15 novembre. À noter que l'enregistrement préalable à l'export s'applique déjà, indépendamment de cette révision.

Cette exemption open source mérite d'être soulignée : elle trace une frontière entre ce qui circule déjà publiquement et ce qui reste contrôlable. Une frontière qui n'est pas sans rappeler, à une autre échelle, la logique des dépôts de poids ouverts qui se multiplient sur Hugging Face.

FLUX.3 Image Klein et le VBIOS : le local se bricole aussi

Un utilisateur du subreddit signale la publication des poids de FLUX.3 Image Klein sur Hugging Face, sous le compte black-forest-labs. Le modèle de génération d'images devient ainsi accessible publiquement via la plateforme.

Côté matériel, trois outils circulent pour modifier le VBIOS des cartes NVIDIA RTX 30, 40 et 50 : limites de puissance, tensions, offsets mémoire, canaux de ventilateurs. Le flash direct étant bloqué par Falcon, l'auteur propose des chargeurs qui patchent le registre sous Windows ou le démarrage du firmware GSP sous Fedora, sans toucher au VBIOS d'origine.

De quoi descendre sous 400 W sur une RTX 5090, selon la dépêche. Trois briques différentes — un noyau CUDA, des poids d'image, des outils VBIOS — mais une même logique : reprendre la main sur la pile, du firmware au modèle.

Et maintenant ?

Prises ensemble, ces dépêches dessinent un écosystème où l'optimisation descend d'un cran : noyaux CUDA spécialisés pour les quantifications basses, architectures MoE qui n'activent qu'une fraction de leurs paramètres, poids publiés ouvertement, firmware contourné. Le mouvement est technique avant d'être politique — mais il finit par le devenir, quand un régulateur choisit explicitement d'exempter l'open source de ses restrictions à l'export. Reste une question ouverte : ces gains de vitesse annoncés pour Q2_K et Q3_K tiennent-ils leurs promesses hors du banc d'essai ? La pull request n'est, pour l'instant, qu'une pull request.