Kolibri-1 arrive dans llama.cpp, les quants IQ_K affûtent leurs armes

Kolibri-1 : un MoE d'Aleph Alpha dans llama.cpp

Le support de Kolibri-1 vient d'être ajouté à llama.cpp via une pull request. Le modèle d'Aleph Alpha est un MoE de 78 milliards de paramètres, dont 3,46 milliards actifs par token. Il est orienté allemand et anglais, et embarque un mode de raisonnement explicite ainsi que l'appel d'outils.

Le contexte annoncé grimpe jusqu'à 1 048 576 tokens, même si le fournisseur recommande de rester sous 262 144. Autrement dit, la fenêtre théorique est très large, l'usage conseillé l'est moins.

Reste un point bloquant pour qui veut tester tout de suite : les GGUF ne sont pas encore disponibles. Le support est posé côté llama.cpp, mais le format quantifié que la plupart des utilisateurs attendent n'est pas encore là.

Quantifications IQ_K : même taille, moins de divergence

Une autre proposition soumise à llama.cpp ajoute cinq types de quantification — IQ2_K à IQ6_K. Pour l'instant, ils n'ont été testés que sur un seul modèle, ce qui limite la portée du résultat.

Leur promesse tient en une ligne : des tailles de fichiers identiques à celles des quants Q, avec une divergence KL nettement meilleure — en clair, un écart plus faible entre la distribution du modèle quantifié et celle du modèle d'origine. Le prix à payer est une légère baisse de performance, et une création encore assez lente.

La nouvelle compte parce qu'elle touche au nerf de la guerre du local : à taille de fichier égale, ce qui compte est la perte encaissée au passage.

OpenCode : des clés API volées pour entraîner un autre modèle

OpenCode, un agent de programmation open source, a confirmé samedi 17 octobre une intrusion qui a pu exposer les clés API OpenAI, Anthropic et Google de 1,4 % des utilisateurs de sa Console. L'entreprise relie l'incident à une « attaque par distillation », une méthode qui consiste à exploiter un modèle pour en entraîner un autre.

Des victimes signalent déjà des frais de plusieurs centaines de dollars. Le mode opératoire place la clé API au centre : ce n'est plus seulement un identifiant d'accès, c'est la ressource qu'on vient chercher.

Pour les utilisateurs d'agents de code, l'incident rappelle qu'un outil open source branché sur des fournisseurs payants héberge des secrets qui valent de l'argent.

Ce que les modèles consomment, ce qu'ils reconstruisent

Les nouveaux termes de Meta, qui entrent en vigueur le 30 octobre, semblent autoriser le groupe à crawler et scraper les sites « associés » aux entreprises qui utilisent ses plateformes, y compris les éditeurs en ligne, selon un rapport de Nieman Lab. Meta pourrait ensuite utiliser ce contenu externe pour « développer, améliorer, rechercher » et « entraîner ».

À l'autre bout de la chaîne, un utilisateur du nom de ColCarlo99 a refait Tzar: The Burden of the Crown (2000) en Rust avec le moteur Bevy, en s'appuyant sur Claude Code. Le flux de travail : le modèle lit le désassemblage de l'exécutable original et porte les systèmes un par un — combat, IA, générateur de cartes, scripts de mission — pendant que le développeur compare avec le jeu d'origine et signale les écarts. Plus de 600 tests et des notes de mémoire entre sessions limitent la dérive sur la durée.

Le projet est gratuit et open source, fait tourner campagnes et cartes aléatoires sous Windows 10/11 jusqu'en 4K, mais requiert une copie de Tzar.

Et maintenant ?

Deux dépêches llama.cpp le même jour, sur le support d'un modèle et sur la compression : l'outillage local avance sur les deux fronts à la fois. Ce qui se joue là n'est pas spectaculaire, c'est la question de savoir quel modèle tient sur quelle machine, et à quel coût en qualité. Pendant ce temps, les deux extrémités de la chaîne se dessinent : d'un côté des conditions d'utilisation qui élargissent la matière première, de l'autre un modèle capable de porter un jeu de 2000 depuis son désassemblage.