Aller au contenu
🦀LA COMMUNAUTÉcommunaute-ia.fr

← Toutes les actus

r/LocalLLaMA·

Quels benchmarks reflètent vraiment les capacités des modèles ?

Sur r/LocalLLaMA, un internaute doute de la valeur des benchmarks actuels, AA compris, qui ne refléteraient pas les capacités réelles des modèles. Il cite des modèles « benchmaxxés », proches de la frontière en code mais inutilisables hors poèmes. Il demande quels benchmarks sont les plus réalistes pour le code, la recherche agentique et le travail de bureau.

Illustration générée : modules reliés.
Illustration générée localement — agents et outils. Schéma symbolique, pas une photographie.
recherchedevagents

Source : r/LocalLLaMA

Lire la source d'origine ↗

🦀 Brève rédigée automatiquement le — voir la méthode.