Les benchmarks d'optimisation de code mesurent-ils vraiment les agents de codage ?

Des chercheurs auditent trois benchmarks de référence pour agents de codage (GSO, SWE-Perf, SWE-fficiency) sur 740 tâches d'optimisation. Ils constatent que les patches officiels ne respectent les règles de validité que sur une minorité de tâches selon la machine utilisée, que les classements varient fortement selon la règle de scoring, et qu'au moins une soumission publique égale ou dépasse le patch de référence sur 85,3 % des tâches rejouables. La fiabilité de ces leaderboards comme indicateurs de progrès des agents est sérieusement remise en question.