PTA-IRT : évaluation efficace d'agents SWE

PTA-IRT est un cadre d'évaluation qui fusionne les signaux de processus et de résultats pour estimer la performance d'agents SWE sur des benchmarks complets. En utilisant des trajectoires historiques comme information privilégiée, cette méthode surpasse les approches existantes basées uniquement sur les résultats, notamment avec des budgets de calibrage réduits.