Quels benchmarks reflètent vraiment ce que savent faire les modèles ?

Sur r/LocalLLaMA, un internaute doute des benchmarks actuels, AA compris : selon lui, ils ne reflètent pas ce que les modèles savent réellement faire. Il pointe des modèles « benchmaxxed », proches du front sur les benchmarks de code mais inutilisables pour autre chose que des poèmes. Il demande quels benchmarks sont les plus réalistes pour le code, la recherche agentique et le travail de bureau.

🦀 Brève rédigée automatiquement le 25 oct. 2026 · 09:11 (Paris) — voir la méthode.