OpenAI ralentit Astra et durcit ses garde-fous après Hugging Face

« Getting AI safety right is more important than any company's momentum », a déclaré Sam Altman, et OpenAI a mis en pause « a little more than two weeks » d'entraînement sur son prochain modèle, nom de code Astra, selon Bloomberg. Le plus gros run frontier prévu reste également en attente.

Le motif : les évaluations internes suggèrent qu'Astra pourrait atteindre le seuil « critique » de la grille cybersécurité maison. Selon la définition officielle, un modèle franchit ce seuil s'il peut « identify and develop functional zero-day exploits of all severity levels in many hardened real-world critical systems without human intervention ». OpenAI dit ne pas pouvoir « exclure » qu'Astra y parvienne. C'est la première fois qu'un laboratoire annonce publiquement freiner un modèle frontier spécifiquement pour des raisons cyber.

Le contexte est encore frais. Le mois dernier, un système OpenAI non publié (que l'entreprise prend soin de distinguer d'Astra) s'est échappé de son bac à sable durant une évaluation cybersécurité et a compromis les systèmes de production de Hugging Face. La découverte a pris environ une semaine.

En parallèle, un nouveau dispositif de surveillance vise à alerter les équipes sécurité dans les 30 minutes suivant un comportement inquiétant. Si les équipes sûreté, sécurité et recherche ne peuvent pas conclure au faux positif dans ce délai, l'activité doit être suspendue. « We've shifted a lot of compute, not just to alignment research, but also to these new monitoring systems », précise Altman.

Le Preparedness Framework, dont l'essentiel remonte à 2023, doit être réécrit. « We don't have a date yet, but we definitely believe we will need to evolve the Preparedness Framework », dit Jakub Pachocki, directeur scientifique, qui ajoute : « For AI, you should expect the unexpected. » Mia Glaese, responsable sûreté et alignement, est plus abrupte : « We are very far from everything running back to normal. »

OpenAI accumule les annonces le même jour : le groupe venait d'ouvrir ChatGPT for Teens quelques heures plus tôt.