Unsloth Flint Q3 déçoit sur le benchmark RecursiveSI
La version quantifiée en Q3_K_XL du modèle Flint d'Unsloth a été passée au benchmark RecursiveSI avec trois harnais différents. Sur OMP, elle termine les 12 tâches avec 71,2/100, mais n'en résout que 7 ; sur AtomicAgent, le score tombe à 39,2/100 avec 3 tâches résolues. Hermes s'arrête à la tâche 7 après des recherches inutiles sur l'ensemble du système de fichiers et une boucle. Deepseek n'a pas été lancé, en raison des échecs et des scores faibles des harnais précédents.
open-sourceagentsrecherche
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.