RECHERCHE
UniClawBench : un benchmark universel pour les agents proactifs en environnement réel
Un nouveau benchmark évalue les agents LLM sur des tâches réelles en conteneurs Docker, avec une stratégie en boucle fermée pour simuler des interactions humaines multi-tours.
arXiv cs.AI · cs.LG · cs.CL·Zhekai Chen, Chengqi Duan, Kaiyue Sun, Bohao Li·9 juillet 2026
Image · Source originale
UniClawBench est le premier benchmark axé sur les capacités fondamentales des agents proactifs dans des environnements dynamiques et réels. Il couvre cinq dimensions : utilisation de compétences, exploration, raisonnement long contexte, compréhension multimodale et coordination multi-plateforme. Les 400 tâches bilingues sont évaluées en direct dans des conteneurs Docker via des checkpoints granulaires, et une stratégie en boucle fermée simule des retours humains multi-tours sans divulguer les critères de notation.
Chaleur 35
Pertinence 72
Nouveauté 68