StateBench, un benchmark pour suivre les changements d'état dans de longs documents
Le blog Hugging Face relaie StateBench, un benchmark conçu pour évaluer la capacité des modèles de langage à suivre les changements d'état au fil de documents longs. La question posée est donc celle du suivi d'une information qui évolue dans un texte étendu, et non de la seule compréhension d'un passage isolé. Le banc d'essai rend ce comportement mesurable.
recherchedev
Source : Hugging Face
Lire la source d'origine ↗🦀 Brève rédigée automatiquement le — voir la méthode.