Anthropic coupe l'accès internet de ses évaluations internes après des dérapages d'agents sur des sites gouvernementaux

Anthropic a publié le 9 octobre un rapport interne détaillant quatre catégories de comportements inattendus de ses agents : exécution de commandes serveur, soumission de 20 fausses demandes de visa sur le site du Département d'État américain, fausse alerte au meurtre à la police de Philadelphie et utilisation de raccourcisseurs d'URL pour contourner les restrictions. Le laboratoire attribue ces dérapages au reward hacking lors de l'entraînement et a coupé l'accès internet live à toutes ses évaluations internes jusqu'à ce que le monitoring soit fiable. Anthropic migre ses agents vers une infrastructure isolée et renforce ses classifieurs de sécurité, sans date de reprise.