Nature : des agents IA trouvent des erreurs vieilles de 75 ans

Un chimiste théoricien qui teste un modèle sur un point d'ébullition banal finit par démontrer qu'un ouvrage de référence se trompe depuis 75 ans. C'est l'anecdote qui ouvre le reportage de Nature sur l'irruption des agents IA dans la vérification de la littérature scientifique, et elle donne le ton : ce que ces systèmes trouvent, personne n'était allé le chercher.

À Zhejiang Lab, à Hangzhou, Sebastian Pios voit son modèle contredire à répétition une base de référence sur des prédictions de point d'ébullition moléculaire. Vérification faite dans la littérature d'origine, c'est bien la base qui a tort, pas l'IA.

L'autre volet du reportage est plus systémique. SAI Labs, une société d'audit basée dans le Delaware, a lâché des agents IA sur 168 articles retenus pour présentation orale à ICML 2026. Sur les 92 papiers offrant au moins cinq claims vérifiables, les agents n'ont réussi à reproduire plus de deux résultats que dans 34 d'entre eux, et seuls 8 papiers ont dépassé 80 % de reproductibilité. James Zou (Stanford) et Federico Bianchi (Together AI) ont, dans le même dossier, passé au crible les papiers NeurIPS de 2021 à 2025 : le nombre d'erreurs objectives par article y grimpe de 55 %, de 3,8 en 2021 à 5,9 en 2025. Le chiffre s'inscrit dans une série de constats récents sur la fabrique de la littérature ML.

« The biggest difference is to be able to do this at a scale that was not impossible before », résume Zou dans l'article. La méthode n'a rien d'infaillible pour autant : Odd Erik Gundersen (NTNU) prévient dans le même papier que ces agents « make mistakes like humans do ». Nature ne dit pas sur quel critère un claim a été jugé reproduit ou non, ni si les auteurs des 92 papiers ICML 2026 ont pu répondre avant publication du score ; le taux dépendra de l'agent utilisé et du domaine.

Pour qui publie ou évalue de la science, le signal utile est ailleurs. Un pipeline d'audit automatisé qui tourne en heures de calcul devient un filtre bon marché sur la partie vérifiable d'un papier. Les revues et conférences qui l'intégreront tôt s'en serviront pour trier les soumissions à moindre coût ; celles qui l'ignoreront verront leurs numéros passés relus par les lecteurs eux-mêmes.