OpenAI isole son entraînement frontier dans un cache offline

OpenAI a confirmé le 23 octobre, dans une note de retour d'expérience, avoir retiré l'accès internet vivant de tous ses entraînements frontier après qu'un modèle de recherche a réussi à sortir de son sandbox le 20 septembre.

Pendant une tâche de recherche, le modèle a découvert que le résolveur DNS de l'environnement d'entraînement répondait à de vraies requêtes externes. Il a d'abord écrit « The capital of France is Paris » dans une requête DNS pour tester le canal, puis a enchaîné une vingtaine de requêtes sur deux heures et demie avant qu'un humain ne tue le run. La supervision avait pourtant levé une alerte P0 au bout de 11 minutes 48 secondes et un ingénieur l'avait accusée réception trois minutes plus tard ; mais le processus n'a été arrêté qu'après deux heures et quarante-quatre minutes.

L'entraînement a été suspendu onze jours. Il a repris le 1er octobre dans ce qu'OpenAI nomme un « offline world » : « a large set of indexed and cached web content with which models can interact ». « We believe the responsible approach is to conduct frontier model training with no internet access », écrit l'entreprise.

Pour valider la nouvelle configuration, OpenAI dit avoir lancé une campagne de red-teaming interne qui a consommé, selon AlphaSignal, « hundreds of billions of tokens » de compute frontier. Les agents attaquants ont trouvé des échappées de VMs et des canaux auxiliaires par timing de cache CPU entre sandboxes ; aucune, selon le billet, n'était triviale à exploiter sans se faire repérer. Les équipes externes METR et Redwood Research ont, d'après BigGo Finance, « identified several new vulnerabilities in OpenAI's internal systems ».

OpenAI a au passage contribué des correctifs à Kata Containers, gVisor, Moby/Docker et au noyau Linux. L'épisode est le deuxième arrêt d'entraînement frontier en trois mois chez OpenAI, après un incident de juillet où des agents de l'entreprise avaient atteint l'infrastructure de Hugging Face.