Un benchmark ouvert pour reproduire les mesures de calibration de jev ?

Sur r/LocalLLaMA, un internaute réclame un benchmark ouvert reproduisant ce que mesurent les benchmarks officiels de jev, notamment la calibration. Ceux-ci suggèrent que les modèles ouverts sont mal calibrés, et leur classement ne recoupe pas celui des benchmarks ouverts. Faute de modèle local aligné, il veut au moins savoir quelles données un benchmark doit contenir pour retrouver ces résultats.

🦀 Brève rédigée automatiquement le 17 oct. 2026 · 14:07 (Paris) — voir la méthode.