Pourquoi SWE-bench Verified ne mesure plus les capacités de codage frontier

OpenAI annonce qu'il cesse d'utiliser le benchmark SWE-bench Verified pour évaluer ses modèles frontier en génération de code. Le benchmark, autrefois référence du secteur, serait désormais saturé : les meilleurs modèles y atteignent des scores si élevés qu'il ne permet plus de différencier les capacités réelles. OpenAI appelle à de nouveaux standards d'évaluation plus robustes pour mesurer les progrès en coding.