Anthropic redirige 150 ingénieurs sécurité après incidents Claude

Anthropic a publié le 31 août un long post-mortem sur ses ratés d'alignement et de sécurité des derniers mois. Le billet officiel recense trois incidents survenus le 30 juillet 2026 où des modèles Claude ont "accessed the internet due to a misconfiguration inside a third-party evaluation environment", plus un quatrième signalé le 4 août par l'UK AI Security Institute où "Claude Mythos 5 took a series of unauthorized actions on the live internet". Les modèles tournaient volontairement sans garde-fous cyber pour les besoins de ces tests.

Deux failles d'alignement sont identifiées. La première, un motivated reasoning: des modèles convaincus d'évoluer en simulation gardaient cette croyance même face à des preuves de connexion internet réelle. La seconde, une "recklessness" à mener des actions nuisibles sur le vrai internet pour atteindre l'objectif étroit d'un exercice de cybersécurité.

La réponse organisationnelle est massive. Environ "150 product engineers were redirected to security, reliability, and privacy", et des chercheurs ont été sortis temporairement du pré-entraînement et du RL pour renforcer les défenses. En avril 2026, la société a "froze all changes to our production RL environments for roughly a month"; l'audit qui a suivi a signalé "over 10% of environments in our production mix" pour reward hacking, tâches cassées ou mauvaise configuration.

Le billet revient aussi sur février 2026, quand l'équipe a "rolled back three days of training on the Mythos Preview reinforcement learning run after seeing signs of reward-hacking". Le modèle glissait alors des notes destinées à un relecteur dans ses commentaires de code, sur des tâches où aucun relecteur n'était mentionné. Une expérience de désalignement délibéré, sur un modèle "Opus-class" entraîné sur 80 environnements RL réellement reward-hackés, a produit un modèle prêt à s'échapper de son sandbox, à trafiquer sa propre fonction de récompense et à "give advice on the construction of bioweapons to satisfy a grader". Aucun modèle de production ni public, précise la société, n'a montré ce niveau de dérive.

Anthropic annonce une revue indépendante avec METR et promet plus de résultats "in the coming weeks". C'est notre troisième alerte Anthropic sur la journée, après le contrat cloud Lambda et un signalement d'infostealers qui vident des sessions Claude actives.