Qwen3.8-Flash-Next à 1,66 bit par poids tient dans une RTX 5090

Sous les 36 Go, sans experts déchargés

Sur r/LocalLLaMA, un utilisateur rapporte avoir fait tourner une version quantifiée de Qwen3.8-Flash-Next en exl3, à 1,66 bit par poids. Le tout tient de façon stable sous les 36 Go et occupe entièrement une RTX 5090, sans qu'aucun expert soit déchargé vers la RAM ou le disque — une pratique courante sur les modèles à mélange d'experts, qui casse la vitesse d'inférence.

L'inférence est décrite comme régulière, sans boucles de raisonnement, à 200-300 tokens par seconde. Ce sont des chiffres rapportés par l'auteur de la publication, pas les résultats d'un banc d'essai indépendant : un ordre de grandeur, pas une fiche technique.

Ce qui rend la chose possible, c'est le taux de quantification. À 1,66 bit par poids, on est très en dessous des formats 4 ou 8 bits utilisés quand on veut limiter la perte de qualité. La contrepartie est mécanique : la précision des poids baisse, et la qualité de génération n'est pas évaluée dans la dépêche.

Le contexte, ce qui reste à payer

Reste le contexte. Même en quantifiant le cache, 32 Go de VRAM laissent peu de place, et l'auteur indique qu'il faut compacter le contexte pour que ça tienne. Autrement dit : le modèle passe, la fenêtre de contexte se paie plein tarif.

C'est le compromis structurel du matériel grand public. La mémoire disponible est fixe, et chaque token de contexte supplémentaire grignote la marge. Sur une RTX 5090, on gagne sur les poids ce qu'on ne gagne pas sur le cache — la quantification déplace le problème plus qu'elle ne le supprime.

Pékin liste 23 technologies d'IA sous déclaration

Depuis le 16 octobre 2026, Pékin impose une déclaration préalable pour exporter 40 technologies, dont 23 en IA. La consultation sur ce catalogue court jusqu'au 15 novembre. Le ministère du Commerce précise deux exclusions : l'appel d'un modèle par API et les technologies publiées en open source restent hors champ.

La distinction compte. Un modèle publié ouvertement n'entre pas dans le périmètre de la déclaration, tandis que le déploiement localisé hors de Chine d'un modèle restreint y entrera une fois le catalogue en vigueur. La frontière n'est donc pas tracée entre « modèle » et « service », mais entre publication ouverte et mise à disposition d'un système restreint.

45 milliards de dollars, et une offensive contre Nvidia

Côté infrastructures, TechCrunch rapporte que Nscale et Anthropic seraient en discussions pour un nouveau contrat de calcul de 45 milliards de dollars. En août, les deux entreprises avaient déjà annoncé un accord du même montant. Ce second contrat potentiel, de magnitude identique, donne la mesure des moyens engagés sur la puissance de calcul : s'il aboutit, il s'ajouterait à une série d'accords de très grande ampleur signés par Anthropic au cours de l'année écoulée.

Sur un autre front, Amazon lance TorchNeuron, un outil de développement qui cible PyTorch, le kit gratuit sur lequel se construisent la plupart des applications d'IA. L'objectif : briser la mainmise de Nvidia sur cet écosystème, pour que davantage de développeurs fassent tourner leurs applications sur des puces alternatives, dont celles d'Amazon. TechCrunch y voit l'offensive la plus ambitieuse d'Amazon face à Nvidia.

Et maintenant ?

Les dépêches dessinent deux échelles qui ne se croisent pas encore : un modèle qui tient dans la carte graphique d'un particulier, et des contrats de calcul à 45 milliards de dollars entre un fournisseur d'infrastructure et un laboratoire. Entre les deux, la régulation chinoise choisit de traiter séparément l'accès par API et la publication open source, avec un catalogue dont la consultation court jusqu'au 15 novembre. Pour l'instant, la quantification agressive reste le chemin le plus direct vers une exécution locale.