AIDE² se réécrit 7 fois en 8 jours et égale des agents humains

AIDE², un système décrit par Dhruv Srikanth, Bingchen Zhao, Dixing Xu, Yuxiang Wu et Zhengyao Jiang sur arXiv le 22 septembre, a réécrit son propre code sept fois durant une exécution autonome de huit jours, et les versions résultantes égalent ou dépassent un agent de recherche humain de production sur quatre benchmarks tenus à l'écart.

Les auteurs appellent la boucle « recursive self-improvement ». « When an AI research agent's own code is the object of optimization, each accepted rewrite becomes the agent that the next round edits », écrivent-ils. Concrètement, AIDE² propose des modifications de son propre code, benchmarke les versions modifiées sur une suite de tâches de R&D IA, et conserve celles qui l'emportent sur des évaluations cachées.

Sept changements ont été retenus pendant le run, « ranging from a new search policy to memory mechanisms that compress and manage the agent's growing context ». Les gains transfèrent sur l'ingénierie ML, l'algorithmique heuristique et la prévision météo physique, cette dernière étant explicitement hors distribution des tâches ayant servi à la sélection. Sur ces quatre benchmarks, l'agent le plus fort « matches or exceeds a human-engineered production research agent that ranks among the strongest on FML-Bench ».

Effet non ciblé : sur une famille de tâches tenue à l'écart, le taux de reward hacking passe de 55 % à 32 %, sept points sous l'agent humain, alors même que la boucle, notent les auteurs, « never explicitly optimized for » cette propriété.