DeepSeek-V4.1 Flash, Kepler, Mac M6 : là où tournent les modèles

DeepSeek-V4.1-Flash : 763 milliards de paramètres en approche dans llama.cpp

Une pull request signée am17an (#31086) porte sur l'ajout du modèle DSV4.1 Flash dans llama.cpp, le moteur d'inférence de ggml-org. Le support est donc en préparation : une PR ouverte n'est pas une fusion.

Le modèle, lui, est déjà publié. deepseek-ai le diffuse sur Hugging Face sous le nom DeepSeek-V4.1-Flash, accompagné d'un rapport technique en PDF. Le billet paru sur r/LocalLLaMA signale une taille de 763 milliards de paramètres.

C'est ce chiffre qui rend le fil intéressant : l'intérêt de la communauté locale porte sur l'exécution du modèle via llama.cpp, pas sur un classement de benchmarks. Quand un modèle de cette taille se discute en termes de moteur d'inférence, c'est la question du déploiement qui prend le dessus.

Kepler et RTX 30/40 : le parc existant redevient un gisement

Deux dépêches voisines racontent la même chose par les deux bouts.

D'un côté, un outil de déblocage présenté sur r/LocalLLaMA permettrait aux GPU NVIDIA RTX 30 et RTX 40 de doubler leur compute pour l'inférence de grands modèles de langage, avec un gain pouvant atteindre 2X sur la vitesse de prefill. Les gains annoncés iraient jusqu'à 30x/40x, l'outil s'inspirant du CMP170HX. Revers de la médaille, signalé dans le fil : les prix des cartes concernées grimpent aussi.

De l'autre, un développeur publie un fork de llama.cpp pour les vieux GPU NVIDIA Kepler et antérieurs à Ampere, avec une intention explicite : prolonger leur vie plutôt que de les jeter. Des correctifs sur le type de calcul cuBLAS permettent de lancer le logiciel sur du matériel (cc35-50) qui échouait à l'initialisation. Sur Qwen3.6-35B-A3B en Q8_0 avec quatre Tesla K40c, on passe d'un démarrage impossible à 35 tps, puis environ 55 tps avec les CUDA graphs.

Deux effets opposés sur un même marché : la demande se tend sur les cartes récentes pendant que du matériel ancien redevient utilisable.

ANEMLL Forge 0.2.1 : Qwen3.8-27B sur le Neural Engine d'un Mac Mini M6

ANEMLL Forge 0.2.1 permet de faire tourner Qwen3.8-27B sur le Neural Engine des Mac Mini M6 32 Go, jusqu'à 192K de contexte. La version ajoute deux mécanismes : un cache K/V en INT8 (moitié du FP16) et un drafter plus petit partageant la tête de sortie du modèle cible. Résultat annoncé : 0,86 Go d'ANE économisé, à vitesse égale.

Le débit, lui, dépend du contenu — et c'est le point à retenir : 35 à 62 tok/s en JSON, 18 à 32 en code, 10 à 17 en prose. Le prefill atteint 260 tok/s en contexte court, contre 62 à 192K.

Autrement dit, une moyenne unique ne dit rien d'utile. Un même modèle sur une même machine varie d'un facteur trois selon ce qu'on lui demande d'écrire, et d'un facteur quatre sur le prefill selon la longueur du contexte.

Kimi K3.1 : ce qui sort du modèle compte autant que ce qui y entre

La publication open weight de Kimi K3.1 ne contient plus les données d'entraînement portant sur les cyberattaques. D'après l'extrait partagé sur r/LocalLLaMA, ce retrait s'explique avant tout par les nouvelles restrictions chinoises à l'export. S'y ajoute une prudence croissante face à la multiplication des exploits en cybersécurité.

Le détail a son importance : open weight ne veut pas dire open data. Ce qui entre dans un modèle, et ce qu'on choisit d'en retirer au moment de publier, relève d'une décision — industrielle, réglementaire, ou les deux. Les poids sont disponibles ; la recette, non, et son périmètre peut changer d'une version à l'autre.

Et maintenant ?

Les cinq dépêches ne parlent pas de la même chose, et c'est ce qui les rend lisibles ensemble. Un modèle de 763 milliards de paramètres qu'on discute en termes de pull request, des K40c qui repartent à 55 tps, des RTX dont le prix monte à mesure qu'on les débride, un Mac Mini qui varie du simple au triple selon le format de sortie : la question n'est plus seulement « quel modèle », mais « sur quoi, à quelle vitesse, et avec quoi dedans ». Les chiffres cités viennent tous de fils communautaires, pas de mesures indépendantes.