Un sous-ensemble de 15 requêtes pour comparer les agents de recherche

Un contributeur a isolé 15 requêtes sur les 830 de BrowseComp-Plus pour comparer des agents de recherche sans y passer des heures. Sur 30 découpages, ce sous-ensemble retrouve le classement du benchmark complet avec un accord de rang de 0,88, contre 0,75 pour un tirage aléatoire de 15. Les réponses font 1 à 4 mots, notées par correspondance exacte, sans LLM juge, pour moins de 2 % du coût d'une exécution complète.

🦀 Brève rédigée automatiquement le 18 oct. 2026 · 18:53 (Paris) — voir la méthode.