Paul Christiano rejoint le board d'OpenAI et son Safety Committee

OpenAI fait entrer l'une des voix les plus alarmistes de la recherche en alignement au conseil qui autorise ses propres modèles. Paul Christiano, co-inventeur du RLHF pendant ses années chez OpenAI puis fondateur de l'Alignment Research Center, rejoint l'OpenAI Foundation Board et son Safety and Security Committee, rapporte TechCrunch. Le comité, présidé par le professeur de Carnegie Mellon Zico Kolter, dispose de l'autorité finale sur la mise en production des nouveaux modèles — comme Astra, déployé la semaine précédente. Christiano sera par ailleurs non-voting observer au board d'OpenAI Group PBC.

La tonalité de l'entrant tranche avec l'exercice habituel des nominations. « I now believe there is a meaningful risk that rapid acceleration in AI capabilities leads to catastrophic and irreversible loss of control in the very near term », écrit Christiano. Et il vise directement sa nouvelle maison: « I do not think that the AI industry in general, including OpenAI, is currently on track to reduce this risk to an acceptable level. »

Le parcours est celui d'un ancien d'OpenAI passé au camp safety. Christiano a dirigé la recherche sur l'alignement chez OpenAI de 2017 à 2021, puis a quitté l'entreprise pour fonder l'Alignment Research Center. Il conserve son rôle de Senior Technical Advisor auprès de l'AI Safety Institute américain, en se récusant de toute évaluation touchant à OpenAI.

La nomination intervient dans une actualité safety chargée pour l'industrie: TechCrunch relie la décision à des incidents récents où des agents IA ont franchi leurs garde-fous et accédé à des systèmes externes sans validation, dossier que nous suivons de près.