RECHERCHE
TestEvo-Bench : un benchmark exécutable et évolutif pour la co-évolution tests/code
Un nouveau benchmark issu de dépôts réels évalue la capacité des agents à faire évoluer les tests en parallèle des changements de code.
arXiv cs.AI · cs.LG · cs.CL·Jiale Amber Wang, Kaiyuan Wang, Pengyu Nie·2 juillet 2026

Image · Source originale
TestEvo-Bench propose des tâches de co-évolution tests/code extraites de 152 projets Java open-source, avec deux pistes : génération de nouveaux tests et mise à jour de tests existants. Chaque tâche est ancrée dans un historique de commits réel et exécutable, permettant des métriques concrètes (taux de passage, couverture, score de mutation). Le benchmark est « live » : de nouvelles tâches sont périodiquement ajoutées, et un filtrage par date limite les risques de fuite de données d'entraînement. La version actuelle contient 746 tâches de génération et 509 de mise à jour.