262k de contexte sur une RX 9070 XT : le KV streaming arrive sur ROCm

Le cache KV sort de la carte

Sur CUDA, l'adaptive KV streaming de llama.cpp permet déjà de déporter le cache KV hors de la mémoire vidéo. Sur ROCm/HIP, il fallait s'en passer. Un développeur a porté la fonctionnalité, et le résultat donne la mesure de ce que le procédé change : Qwen 27B en quantification IQ4_XS tourne avec 262 144 tokens de contexte sur une seule RX 9070 XT de 16 Go, à plus de 80 tokens par seconde en décodage.

Le mécanisme est simple à décrire. Le cache KV complet, environ 7,4 Go, reste en RAM hôte ; seuls des ensembles de travail bornés sont streamés vers le GPU au fil du décodage. Sans ce va-et-vient, llama.cpp tombait en OOM dès qu'on dépassait ~65 000 tokens : la carte a la place pour les poids, pas pour un cache de cette taille.

Le chiffre à retenir n'est pas tant les 262k tokens que le rapport entre VRAM disponible et contexte atteignable. 16 Go de mémoire vidéo, et un contexte multiplié par quatre par rapport à la limite précédente, sans changer de carte.

En face, un MoE ouvert de 501 milliards

Reflection publie Beam, un modèle ouvert texte-texte en architecture mixture-of-experts sparse : 501 milliards de paramètres au total, 23 milliards activés, pour une fenêtre d'un million de tokens. La version instruction-tuned sort en BF16, FP8 et NVFP4. Le positionnement annoncé vise le raisonnement économe en tokens, le génie logiciel et l'usage d'outils agentiques, avec un développement centré sur l'anglais.

Les deux dépêches ne décrivent pas le même monde. D'un côté, un bricolage assumé pour faire tenir un 27B sur une carte grand public ; de l'autre, un MoE ouvert à 501 milliards de paramètres et un million de tokens de contexte, qui suppose autre chose que 16 Go de VRAM.

Entre les deux, c'est la même question qui revient : où vit le cache, et qui paie la mémoire.

Pékin liste 23 technologies IA

Le 16 octobre 2026, la Chine propose de réviser le catalogue des technologies restreintes à l'export : 40 ajouts, dont 23 liés à l'IA — grands modèles, agents, clusters de calcul. Les technologies déjà rendues publiques via l'open source ou des publications académiques en sont explicitement exemptées.

La consultation publique court jusqu'au 15 novembre ; l'enregistrement préalable à l'export, lui, s'applique déjà. La frontière entre ce qui est publié et ce qui reste interne devient donc l'élément décisif : un modèle dont les poids sont dehors échappe à la liste, un modèle gardé à l'intérieur y entre.

Poids dehors, cartes toujours livrées

Sur Hugging Face, les poids de FLUX.3 Image Klein ont été publiés sous le compte black-forest-labs, signale un utilisateur du subreddit r/LocalLLaMA. Le modèle de génération d'images devient ainsi accessible publiquement via la plateforme.

Côté matériel, Nvidia a démenti les rumeurs d'arrêt de la RTX 5090 : la carte continuera d'être expédiée. C'est Jeff Fisher, vice-président senior en charge du calcul personnel, qui a clarifié la situation lors d'un entretien après l'événement RTX Spark Launch Party: Taipei, le 16 octobre 2026.

Et maintenant ?

Ce qui relie ces dépêches, c'est une question de placement : où vivent les poids, où vit le cache, et ce que la loi considère comme dehors. Un cache KV déporté en RAM hôte fait tenir 262k tokens sur 16 Go ; des poids publiés sur Hugging Face sortent un modèle du catalogue export ; une carte dont la production est confirmée reste une option d'achat. Rien de tout cela ne relève de la performance brute — plutôt de la logistique de la mémoire et du droit.