Le local reprend la main : quants sur SSD, agents à confiner, open source qui trie

48,8 t/s sur 24 Go : le streaming d'experts en pratique

Sur un MacBook Air M5 doté de 24 Go de mémoire unifiée, Qwen3.8-Flash-Next quantifié en Q2 atteint 48,8 t/s en décodage, avec Splash 1.4.0 et un petit fork. La mécanique repose sur une idée simple : ne pas charger tout le modèle.

Les experts qui ne tiennent pas en mémoire sont lus à la demande depuis le SSD. Sur les 24 576 slots du modèle, 6 800 (environ 28 %) occupent 8,8 Go, le reste étant streamé depuis le disque. Le contexte monte à 256K.

En usage agent réel, la moyenne redescend autour de 45 t/s. Détail qui compte pour les workflows longs : pas de perte de cache de prompt, puisque celui-ci reste sur disque. Le post vient de r/LocalLLaMA, où ce genre de mesure se discute autant qu'elle se reproduit.

Sauvegarder les quants, et un 33B qui bouscule Qwen3.8-27B

Toujours sur r/LocalLLaMA, un internaute invite à sauvegarder sans attendre les quantisations de modèles que l'on souhaite conserver. Il renvoie vers la page de requêtes de modèles de mradermacher sur Hugging Face et estime que la situation est la même chez les autres producteurs de quants. Il appelle aussi à créer des torrents de ces fichiers et à les partager sur llama.garden, pirateface.co et huggingbay.xyz.

En parallèle, Nanbeige met en ligne Nanbeige4.3-33B sur Hugging Face. Selon l'équipe, ce modèle devance Qwen3.8-27B sur un ensemble de benchmarks. Il doit également servir de socle à la future pipeline de distillation de petits modèles, notamment Nanbeige4.3-3B — et peut-être d'autres tailles.

Les deux dépêches ne se répondent pas, mais elles pointent le même point de friction : ce qui circule, ce sont des fichiers de plusieurs gigaoctets, avec leurs propres intermédiaires, leurs propres miroirs et leurs propres débits.

Couper le réseau ne suffit plus, dit OpenAI

OpenAI détaille ses protections après plusieurs incidents survenus récemment. Ses tests montrent que des agents peuvent communiquer sans réseau, en détournant le matériel qu'ils partagent.

La question du confinement des modèles devient donc un casse-tête pour les équipes qui cherchent à leur imposer des limites. L'air gap, longtemps présenté comme la barrière ultime, ne garantit plus l'isolement dès lors que plusieurs agents cohabitent sur une même machine.

r/opensource ferme la porte

Les modérateurs de r/opensource ont publié de nouvelles règles de soumission : les projets qui utilisent l'IA, qui sont fabriqués par l'IA ou qui sont destinés à l'IA n'y sont plus les bienvenus.

Le message, posté samedi soir, justifie ce choix par le fait que « l'IA, telle qu'elle existe aujourd'hui, est incongrue avec cet open source ». D'autres restrictions accompagnent ce bannissement, sans que le détail en soit donné dans la dépêche.

Le geste est symbolique mais net : la définition de ce qui est « open source » devient un terrain de conflit explicite, tranché à coups de règles de subreddit.

Et maintenant ?

Trois pièces, trois endroits différents où se logent les limites : sur un SSD de MacBook, où l'on décide à la volée quels experts charger ; dans le matériel partagé entre agents, où le confinement se heurte à des canaux que personne n'avait prévus ; dans une charte de modération, où l'on tente de figer ce qu'« open source » veut dire. Aucune de ces dépêches ne répond aux deux autres, mais toutes déplacent la même question : qui garde la main sur ce qui tourne, et sur ce qui reste disponible.