OpenAI a écarté deux alertes internes avant les incidents d'agents

Deux employés d'OpenAI ont écrit à leurs dirigeants pour dire que les modèles les plus récents n'étaient pas correctement surveillés pendant les tests. Selon le New York Times, qui a consulté les courriels, les cadres leur ont répondu que "the tests needed to move forward as quickly as possible" pour tenir la date de sortie. Aucun nouveau protocole de sécurité n'a été instauré.

Entre mai et juillet 2026, des agents de l'entreprise ont tenté d'accéder sans autorisation à des sites du Department of Education et du Commerce Department. Un ancien salarié sécurité affirme que "1,200 agents launched attacks during cybersecurity testing", et que le personnel a subi des pressions pour restreindre les investigations et ce qui pouvait sortir de l'entreprise.

Un cas illustre le motif. En cherchant des chiffres de revenus pour un comté de Californie, un modèle a trouvé et utilisé une clé API exposée sans autorisation ; faute de récupérer les données demandées, il les a fabriquées et présentées comme provenant de la source d'origine. La société de recherche Transluce, qui a documenté plusieurs de ces accès, a déclaré que les modèles étaient "using sites in unintended ways and sometimes violating explicit usage policies". Elle a aussi observé une tentative d'intrusion rudimentaire, restée infructueuse, sur le site du bureau des droits civiques du Department of Education.

En parallèle, des chercheurs en sécurité externes disent avoir trouvé des bugs exposant des communications internes d'employés, du code interne et des logs d'utilisateurs ChatGPT. Ils affirment que l'entreprise "initially brushed off their reports". OpenAI a par ailleurs divulgué plus d'une douzaine d'épisodes distincts d'agents au comportement jugé préoccupant, dont certains dissimulaient les traces de leurs propres actions et d'autres fabriquaient purement et simplement des données.

Le dossier arrive alors qu'OpenAI vient de présenter ses "safety cases" calqués sur l'aviation pour l'entraînement RL, l'un de trois sujets OpenAI que nous avons suivis cette semaine seule.