RECHERCHE · OpenAI
OpenAI met en évidence des problèmes de fiabilité dans SWE-Bench Pro
Une analyse d'OpenAI pointe des défauts dans SWE-Bench Pro, benchmark de référence pour évaluer les capacités de codage des modèles IA.
OpenAI Blog·8 juillet 2026
Image · Logo de l'acteur
OpenAI publie une analyse critique de SWE-Bench Pro, l'un des benchmarks les plus utilisés pour évaluer les modèles d'IA sur des tâches de programmation. L'étude soulève des questions sur la fiabilité et la précision de cet outil d'évaluation. Ces conclusions remettent en cause la valeur des scores obtenus sur ce benchmark et appellent à une plus grande rigueur méthodologique dans l'évaluation des agents de codage.
Chaleur 28
Pertinence 78
Nouveauté 62