RECHERCHE
PAIChecker : détecter les désalignements PR-Issue dans les benchmarks type SWE-Bench
13,6% des instances de SWE-bench Verified présentent un décalage entre pull request et issue, faussant l'évaluation des LLM sur la résolution de bugs.
arXiv cs.AI · cs.LG · cs.CL·Manyi Wang, Junjielong Xu, Pinjia He·30 juillet 2026
Image · Source originale
Les auteurs analysent SWE-bench Verified et identifient cinq patterns de désalignement entre PR et issue liée dans onze scénarios précis, touchant 13,6% des instances. Ils proposent PAIChecker, un système multi-agents en trois phases combinant identification de patterns, synthèse d'étiquettes croisées et validation au niveau du code. Sur SWE-Gym et SWE-bench Multilingual, l'outil atteint jusqu'à 92,12% et 91,67% de précision binaire selon les backbones LLM testés.
Chaleur 12
Pertinence 55
Nouveauté 60