OpenAI juge SWE-Bench Pro cassé et retire sa recommandation

Publié le 8 juillet 2026, le billet « Separating signal from noise » d'OpenAI acte un aveu inconfortable pour toute l'industrie du code assisté par IA : le benchmark que le laboratoire recommandait lui-même il y a quelques mois, SWE-Bench Pro, est en grande partie cassé. Sur la portion publique de 731 tâches, l'audit interne repère environ 30 % de tâches défectueuses, et le score plafond utile tourne autour de 70 % à cause du bruit.

La méthode décrite est double. Un pipeline automatique d'agents IA a marqué 200 tâches comme problématiques (27,4 % du jeu), et cinq ingénieurs logiciels expérimentés ont indépendamment relevé des soucis sur 249 tâches (34,1 %). Les quatre familles de défauts identifiées sont des tests trop stricts qui imposent des détails d'implémentation non spécifiés, des consignes incomplètes qui omettent des exigences, une couverture de tests insuffisante pour vérifier la fonctionnalité demandée, et des consignes trompeuses qui poussent le modèle vers un comportement incorrect.

L'autre partie de l'histoire est la vitesse de saturation. Les modèles de pointe sont passés de 23,3 % à 80,3 % de réussite en huit mois, un chiffre qui, lu à froid, ressemble à un bond de capacité, mais qui pour OpenAI mesure surtout la familiarité des modèles avec le jeu de tests. C'est le même schéma que l'entreprise avait décrit en février en enterrant SWE-Bench Verified, dont 59,4 % des tests d'échec s'étaient révélés flawed, comme le rappelle la reprise d'Investing.com. Le message implicite est clair : la couche de mesure du progrès en code IA s'effondre plus vite que les modèles ne progressent.

Pourquoi c'est important pour qui n'entraîne pas de modèles : c'est le chiffre que les DSI et les équipes achats regardent pour choisir un fournisseur, et OpenAI reconnaît qu'il ne veut plus rien dire. La franchise honnête est que le billet ne dit pas quel benchmark OpenAI utilise désormais en interne, ni comment Scale AI, qui a construit Pro, entend répondre, ni si Anthropic ou Google vont suivre. Ce qu'il reste à surveiller est la vitesse à laquelle un nouveau standard partagé émerge, et qui l'écrira : les laboratoires, un consortium indépendant, ou les acheteurs eux-mêmes via leurs propres jeux d'évaluation privés.