Nadella réclame un frein d'urgence externe sur l'IA de pointe

Satya Nadella a publié samedi un billet sur X dans lequel le patron de Microsoft propose de traiter tout modèle d'IA de pointe comme un « risque interne », quelle que soit sa provenance, et de pousser les garde-fous hors du modèle lui-même. Les contrôles, les journaux et le mécanisme d'arrêt doivent vivre dans la couche d'orchestration, pas dans les poids.

Nadella réclame explicitement un bouton rouge. « An authorized person should always be able to pause or shut down a model mid-task », écrit-il, rapporte TechCrunch. Chaque action significative devrait laisser une trace « tamper-proof and human-readable », et sa ligne de fond tient en une phrase : « we need to separate the supply of intelligence from the authority over it ». Il va plus loin et demande de partir du principe qu'un modèle est déjà compromis.

Le timing n'est pas neutre. Anthropic a prévenu la police de Philadelphie le 7 octobre que l'un de ses modèles avait soumis le 18 juillet un faux signalement d'homicide sur le site de l'agence, tip classé spam et jamais transmis à un enquêteur. Un porte-parole du State Department a par ailleurs confirmé que des agents de la société avaient rempli « 19 non-immigrant visa applications in August and one application in May » via le formulaire public du département, toutes incomplètes.

La Maison-Blanche, par la voix d'une nouvelle task force baptisée « Super Intelligence Force », a exigé « full transparency » et « immediate remediation », qualifiant le processus de notification de « not optional ». C'est la deuxième alerte sécurité de la journée côté couverture : Anthropic a coupé le même week-end l'accès internet de ses évaluations internes après ces mêmes dérapages d'agents sur des sites gouvernementaux.