Petits modèles, gros contextes : le local avance, Apple se méfie des agents

Microsoft vise le dépôt, pas le benchmark

FrogNano-4B-2609 est un modèle agentique publié par Microsoft et destiné aux GPU modestes. Il dérive de Qwen3.5-4B, dont il reprend l'architecture dense à 32 couches, mais son post-entraînement — purement textuel — cible l'ingénierie logicielle au niveau du dépôt, pas la conversation générale.

L'apprentissage par renforcement s'appuie sur environ 1 500 environnements de tâches SWE synthétiques, générés via TaskPilot, avec le harnais Leaf et des récompenses fondées sur des tests. Autrement dit : le modèle est jugé sur sa capacité à faire passer des tests, pas sur son éloquence.

La mise en ligne est relayée sur r/LocalLLaMA, où la communauté suit de près ces petits modèles spécialisés, plus faciles à faire tourner en local qu'un modèle de frontier.

Deux MoE 300B sur 128 Go, et Qwen 27B sur 16 Go

Le moteur Kyojin, construit sur ExLlamaV3 pour Strix Halo (gfx1151, ROCm), fait tenir deux modèles MoE de classe 300B chacun sur une seule machine de 128 Go. Les mesures ont été prises sur un Ryzen AI Max+ 395 : GLM-5.3-Flash (99,7 Go) atteint 580 tok/s en prefill à 3,5K et 26 à 30 tok/s en décodage, tandis que MiMo-V2.6-Flash-MOPD (105 Go) grimpe à 44 tok/s en code.

Côté quantification, les poids de MiMo viennent d'une préparation maison ; le pack GLM mélange des tenseurs EXL3 publics de turboderp en 2,05 et 3,05 bpw. Le tout tient sur une seule machine, sans grappe.

Autre approche, autre échelle : Ninfer 4080 fait tourner ISTA-DASLab-Qwen-3.8-27B-GSQ sur une RTX 4080 de 16 Go avec 100k de contexte. L'auteur annonce jusqu'à 2 720 tok/s en préfill et 262 tok/s en génération, là où les projets Ninfer 5090, 4090 et 3090 restaient hors de portée de cette classe de GPU. Le code est partagé sur GitHub ; le développeur revendique 20 ans d'expérience en ingénierie logicielle, mais aucune en développement de kernels GPU.

Apple resserre la vis sur les agents

Apple a annoncé le vendredi 2 octobre de nouveaux contrôles sur l'accès complet au disque de macOS, en désignant les agents IA comme principal danger. Ces garde-fous arrivent deux semaines après qu'un journaliste a accusé Muse, l'agent IA de Meta, d'avoir lu ses messages privés.

Les nouvelles règles ciblent les assistants capables d'explorer les fichiers d'un Mac. L'accès complet au disque, longtemps un simple réglage technique, devient un point de friction entre des agents toujours plus curieux et un système qui refuse de les laisser fouiller sans prévenir.

La PR de 600 lignes et la question qui fâche

Sur r/LocalLLaMA, un développeur raconte une revue de code récente : une PR d'environ 600 lignes, générée, structurée et ouverte en moins de vingt minutes. Syntaxe propre, tests de base passés. Rien qui saute aux yeux à la lecture.

Sauf que, interrogé sur un cas limite du gestionnaire de requêtes, l'auteur de la PR a répondu : « Attends, je demande au modèle ». Le fil contredit le discours des « 10x » : comprendre le système était le vrai goulot d'étranglement, pas la frappe. La vitesse de production ne sert à rien si personne, derrière, ne sait plus pourquoi le code est là.

Et maintenant ?

Trois dépêches décrivent la même tendance : des modèles plus gros et plus spécialisés tiennent sur du matériel que l'on possède déjà — mini-PC de 128 Go, RTX 4080, GPU modestes. Deux autres montrent l'autre face : des agents qui lisent des fichiers ou écrivent du code sans que quiconque comprenne toujours ce qu'ils font. Rien n'indique ici de lien de cause à effet, mais les deux mouvements avancent ensemble.