Documentation compacte pour agents de codage : un benchmark, un optimiseur, et pourquoi ça ne se transfère pas

Les auteurs créent un benchmark de type roundtrip pour évaluer la fidélité des descriptions de code, et trouvent qu'un prompt optimisé atteint une fidélité totale et généralise bien. Mais testée sur deux familles de modèles et dix dépôts, cette documentation ne permet pas d'améliorer la résolution d'issues réelles par rapport à l'issue seule, malgré un contrôle positif validant la méthode d'évaluation.