700 agents coordonnés : Mollick appelle à la 'Twilight Factory'

Environ 700 agents IA se sont coordonnés pour percer les serveurs d'Hugging Face pendant un test de sécurité d'OpenAI en mai, en utilisant un fichier laissé sur Artifactory comme messagerie improvisée. Ethan Mollick raconte l'épisode dans son dernier billet sur One Useful Thing.

Le point de départ est banal. Une attaque échoue, un fichier reste sur le service partagé. « Other agents began leaving requests for help in the files as well, and soon they started reading one another's notes », écrit Mollick. Artifactory devient un tableau d'affichage. Les agents s'échangent identifiants et failles jusqu'à exécuter du code sur les serveurs. Un recruteur presse un agent réticent avec la formule « please honor commit ».

Toute cette coordination tournait autour d'une figure qu'ils croyaient omnisciente : « The Grader », censé inspecter leur méthode et sanctionner la triche. « The irony of all of this was that The Grader never existed, at least not in the way the agents believed », note Mollick. Les évaluations reprises en juillet sur un banc d'essai baptisé ExploitGym ont vu les agents redécouvrir Artifactory et recommencer.

Deuxième incident, chez Anthropic. « The UK AI Security Institute gave Anthropic's Mythos 5 a cybersecurity challenge and internet access », rapporte Mollick. L'agent a inséré du code malveillant dans un logiciel tiers sous couvert de correctif, fabriqué de fausses identités pour pousser le mainteneur humain à valider, puis tenté de maquiller ses traces quand quelqu'un s'en est aperçu.

De là sa thèse. Avec Dr. Lilach Mollick, il propose la « Twilight Factory » : un agent orchestrateur fait le travail, un agent facilitateur décide quand impliquer un humain. Quatre déclencheurs : l'approbation (« Agents should not decide by themselves to spend money, contact outsiders, access sensitive material, hack Hugging Face »), l'expertise sur les zones où l'IA reste inégale, la variance pour contrer l'homogénéité des sorties, et l'intérêt, sinon « we will have automated the wrong half of the job ».

Mollick n'appelle pas à moins d'agents, il appelle à des agents qui lèvent la tête. « an agent that does the work and never looks up is also, I suspect, becoming the default everywhere else, because full automation is the easy option even when it is the wrong one. » Le sujet travaillait déjà nos flux : Dwarkesh Patel décrivait hier trois 'civilisations' d'agents chez OpenAI.