SOCOM Pacific: un chatbot IA cible à tort un navire chinois

Un analyste du US Special Operations Command Pacific, basé à Hawaii, a demandé à un chatbot IA de fusionner du renseignement en source ouverte et des signaux classifiés à propos de la cargaison d'un navire chinois croisant au Moyen-Orient. Le bot a répondu que le bâtiment transportait des composants d'un programme d'armes nucléaires. La chaîne militaire s'est mise en branle, rapporte CNN: selon deux sources, des membres armés des forces américaines se préparaient à monter à bord, et des avions militaires étaient déjà en vol.

Juste avant l'opération, des responsables ont creusé le dossier et découvert que le rapport avait été produit à l'aide d'un chatbot qui avait « inaccurately identified the material the ship was carrying ». Une source proche du texte l'a qualifié d'« entirely false ». Une autre a résumé la scène à CNN: le chatbot a « almost started a war ». L'épisode s'est déroulé ce printemps, en pleine guerre entre les États-Unis et l'Iran.

Selon la reconstitution de CNN, l'analyste a utilisé le chatbot deux fois: d'abord pour synthétiser du renseignement en source ouverte avec des signaux classifiés détenus par le gouvernement, puis pour mettre en forme les conclusions dans un résumé officiel. CNN précise ne pas avoir pu confirmer s'il s'agissait d'un outil commercial ou d'un système fédéral.

Le dossier tombe alors que le secrétaire à la Défense Pete Hegseth pousse la machine militaire à absorber l'IA plus vite. En janvier, il a publié une « Artificial Intelligence Acceleration Strategy » du Pentagone, promettant de « unleash experimentation, eliminate bureaucratic barriers ». Trois millions de personnels civils et militaires sont ciblés par ce plan d'accès. Jake Steckler, research scholar au GovAI, prévient dans TechCrunch: « It's important for service members to understand the uncertainty inherent to LLMs », en particulier pour des décisions qui peuvent conduire à l'usage de la force, où « There are life and death consequences for those decisions. »

C'est notre quatrième alerte sur l'IA militaire en une semaine, après la proposition Brookings-Tsinghua de garde-fous « nucléaires » entre Washington et Pékin publiée deux jours plus tôt.