HKUST et IDEA : GPT-6 plafonne à 64,58 % sur TB-MathModel

Sur 18 problèmes de concours CUMCM et MCM (éditions 2023 à 2025), le meilleur agent testé plafonne à 64,58 % d'O-Eval. C'est le résultat de TB-MathModel, mis en ligne le 6 novembre par Cehao Yang (The Hong Kong University of Science and Technology, Guangzhou), Xuhui Jiang et Chengjin Xu (IDEA Research / DataArcTech) et leurs co-auteurs sur la page Hugging Face du papier.

Le classement empile sept entrées multimodales, chacune moyennée sur trois graines. GPT-6 Astra + codex arrive en tête à 64,58 ± 2,93, suivi par Fable 5.1 + claude-code (63,11 ± 1,33). Les deux leaders coûtent entre 246 $ et 273 $ par passe complète sur les 18 tâches. En face, DeepSeek V4.1 Flash + opencode affiche 59,81 ± 1,25 pour 2,54 $, soit, selon les auteurs, « about 4.8 points behind the leader at roughly 1/100 the cost ».

La contribution technique tient à la couche de vérification. Chaque tâche tourne dans un conteneur python:3.12-slim sans internet (2 CPU, 8 Go, timeout de quatre heures) et rend un unique artefact JSON ; celui-ci passe un filtre programmatique couvrant six formes invariantes décidables, puis 624 obligations Lean 4 purgées par `decide` ou `omega`, sans Mathlib. Un gate échoué ramène l'O-Eval à zéro. Sept cellules ont été ainsi invalidées sur l'épreuve, concentrées sur le problème heliostat — puissance nominale sous 60 MW, ou miroir sous le minimum de 2 m.

Les auteurs documentent un cas inversé. Sur la tâche dragon-dance, douze modèles ont calculé le bon pic de vitesse alors que l'ancre O-award, elle, était infaisable. « on dragon-dance the models were right and our anchor was wrong », écrivent-ils ; le cas justifie à lui seul une couche de faisabilité indépendante. Pousser DeepSeek-Flash à son plus haut palier de raisonnement fait chuter son score à 48,11 % contre 59,81 % par défaut, pour un coût supérieur.

Côté robustesse, faire varier le harnais autour d'un même modèle (DeepSeek-Flash sur quatre configurations) déplace l'O-Eval de 0,07 pp au plus, bien sous la déviation par graine : « varying only the harness moves O-Eval by at most 0.07 pp ». Le code est publié sur GitHub, dans la continuité des bancs d'agents vérifiables que nous suivons dans notre couverture Open Source.