DeepLethe lance FDE-Gym : Claude Opus 5.5 résout 14 tâches sur 95

Claude Opus 5.5, meilleur modèle testé, résout 14 des 95 tâches du benchmark. Les douze autres configurations font pire, et cinq d'entre elles n'en résolvent aucune.

C'est le constat central de FDE-Gym, publié par DeepLethe avec un consortium académique et industriel qui réunit entre autres Tsinghua, Harvard, Stanford, Meta, Microsoft Research Asia, Huawei et Atlassian. Les 95 tâches sont adaptées par des experts industriels à partir de « real-world customer delivery projects carried out in China, Singapore, and the United States since 2024 », regroupées en 20 scénarios clients couvrant 18 secteurs. Le forage pétrolier côtoie l'after-sales, chaque scénario étant noté sur sa propre métrique business.

Le papier mesure la forward-deployed engineering : un ingénieur envoyé par le fournisseur chez le client, qui doit clarifier des demandes ambiguës, travailler sur des systèmes vivants et déterrer des contraintes jamais formulées. Les auteurs posent la règle sans ambages : « A solution that addresses the wrong problem therefore earns no credit. »

Dans le réglage réaliste L3, qui ne donne à l'agent que la demande brute du sponsor, le meilleur score moyen plafonne à 0,56 sur une échelle où 1 représente la solution de référence écrite par un expert. Le véritable goulot est la découverte des contraintes implicites : quand on les fournit, les trois meilleurs modèles atteignent 0,73–0,82 ; privés de cette aide, ils retombent à 0,39–0,62. Même en récoltant 72 à 85 % des informations clés auprès des interlocuteurs scriptés, les systèmes livrés n'atteignent que 0,60 à 0,70 de l'amélioration de référence, et le coût des contacts stakeholder ampute encore le score de 0,14 à 0,22 point.

Et les modèles plus faibles ne font pas que décevoir. Claude Haiku 4.5 « scores below the do-nothing baseline on 79 of 95 tasks », autrement dit détériore activement le système client. Mistral Small 4 fait pire que l'inaction sur 51 tâches, « even before deducting stakeholder contact cost ». Le papier arrive en pleine saison dense sur le sujet : notre rubrique agents compte 235 alertes en 90 jours, dont l'incident CERT-In sur des agents de test publié le même jour.