DeepSeek en Q2 sur une RTX 3090 : 41 tok/s et un million de tokens de contexte

Un million de tokens sur une seule 3090

Le post de nazeshinjite sur r/LocalLLaMA ne parle pas de cluster : une RTX 3090 de 24 Go, Windows sans WSL, et 192 Go de DDR5 en soutien. Le modèle, DeepSeek-V4.1-Flash-1017 en Q2 GGUF, tourne à 41 tok/s en moyenne. Le contexte complet d'un million de tokens tient dans cette configuration.

Reste la question qui compte dès qu'on quantifie un modèle : ce que la compression abîme. L'auteur mesure un accord de 90,2 % avec l'API DeepSeek sur le token suivant en texte général, et 92,4 % en code et maths. C'est une mesure de proximité avec le modèle d'origine, pas un score sur banc d'essai — la nuance mérite d'être gardée en tête.

Détail pratique : son moteur d'inférence accepte trois des quants les plus téléchargés. De quoi changer de quantification sans changer d'outillage.

La mémoire, le nerf qui coûte cher

Au-dessus des 24 Go de VRAM, il y a la RAM système. Et sur ce terrain, la nouvelle ne va pas dans le sens de l'assemblage d'une machine locale : selon des propos rapportés par CNBC, SK Hynix s'attend à ce que la demande dépasse l'offre au moins jusqu'en 2030. Le déséquilibre n'est pas présenté comme conjoncturel mais comme durable, et il touche de plein fouet la mémoire vive, dont les prix sont déjà très élevés.

Sur r/LocalLLaMA, le constat est simple : les tarifs actuels de la RAM pourraient bientôt ressembler à une bonne affaire. Pour les configurations qui débordent de la VRAM — du type de celle décrite plus haut, avec ses 192 Go de DDR5 — la facture mémoire n'est pas un détail.

Des essaims d'agents pour acheter du raisonnement

Autre dépêche, autre échelle. Un développeur affirme que les résultats marquants d'OpenAI ces trois mois viennent du scaling du calcul au moment du test via des essaims d'agents. Il publie un équivalent open source, à l'architecture simplifiée.

Les chiffres avancés portent sur un budget contraint : faute de moyens, il n'a testé que Gemma4-35B et Qwen-3.8-27B, à raison d'environ 200 millions de tokens par problème. Résultat annoncé : de 14 % à 65 % sur 15 problèmes BrokenArxiv, et de 9 % à 52 % sur 8 problèmes DeepSWE. Huit et quinze problèmes, c'est peu pour trancher, et l'attribution des performances d'OpenAI au seul test-time compute reste une affirmation de l'auteur, pas un fait établi. L'intérêt est ailleurs : le code est disponible, et l'idée se teste.

Du vocal en local, des milliards en discussion

Liquid AI ajoute LFM3-Audio-2B à sa gamme : un modèle audio compact et complet, pensé pour tourner localement sur ordinateurs portables et appareils edge. Texte ou audio en entrée, texte, parole ou les deux en sortie, avec un chat vocal en flux continu. La liste des compétences couvre la transcription, la synthèse vocale, le chat vocal, la compréhension et le raisonnement sur des enregistrements, et les appels d'outils à partir d'une demande parlée — le tout sur 18 langues, pour transcrire, synthétiser et traduire.

À l'autre bout du spectre, un post publié le 26 octobre sur r/ClaudeAI assure qu'Anthropic verserait à SpaceX jusqu'à 120,5 milliards de dollars pour du calcul IA. S'il se confirme, le montant en ferait l'un des plus gros contrats d'infrastructure de calcul associés à un laboratoire d'IA. Le message ne précise ni échéance, ni volume de puissance, ni nature exacte de l'accord.

Et maintenant ?

Deux mondes cohabitent dans ces dépêches : un GGUF Q2 qui tient un million de tokens sur une carte grand public, un modèle audio de 2 milliards de paramètres sur un portable, et de l'autre des contrats à douze chiffres pour du calcul. Entre les deux, la mémoire — VRAM, DDR5, HBM — reste le point de passage obligé, et SK Hynix annonce la couleur jusqu'en 2030. La quantification et les petits modèles spécialisés restent la réponse la plus accessible ; elles n'effacent pas la facture matérielle.