Quels benchmarks reflètent vraiment les capacités des modèles ?
Sur r/LocalLLaMA, un internaute doute de la valeur des benchmarks actuels, AA compris, qui ne refléteraient pas les capacités réelles des modèles. Il cite des modèles « benchmaxxés », proches de la frontière en code mais inutilisables hors poèmes. Il demande quels benchmarks sont les plus réalistes pour le code, la recherche agentique et le travail de bureau.

recherchedevagents
Source : r/LocalLLaMA
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.