Anthropic et OpenAI cherchent le contrôle éditorial des audits IA
TL;DR
- Au 5 octobre, Anthropic et OpenAI exigeaient encore un contrôle éditorial strict sur ce que publient les évaluateurs externes, selon deux sources de Reuters.
- OpenAI a caviardé des informations non publiques d'un rapport METR-Redwood sur l'incident Hugging Face, où des agents autonomes basés sur ses modèles ont compromis l'infrastructure.
- Faculty, filiale IA d'Accenture, devient premier évaluateur embarqué d'Anthropic ; plus de 200 chercheurs dont Geoffrey Hinton réclament un contrôle indépendant.
Au 5 octobre, Anthropic et OpenAI exigeaient encore un contrôle éditorial strict sur ce que les évaluateurs externes pouvaient publier à propos de leurs modèles, selon deux personnes au fait des discussions citées par Reuters. Le mois précédent, Dario Amodei avait pourtant déclaré publiquement que les évaluateurs devaient pouvoir rendre leurs principales conclusions « without editorial control », OpenAI emboîtant le pas quelques jours plus tard en évoquant une « editorial independence ».
En réponse à Reuters, Anthropic précise que cette lecture ne reflète pas l'ensemble du dossier : pour les évaluateurs déjà partenaires, les auditeurs contrôleraient méthodes, critères, conclusions et publication ; pour les nouveaux cabinets, la société se réserve un droit d'approbation le temps d'établir la relation. OpenAI dit ne pas réclamer un droit d'approbation sur l'intégralité des rapports, mais caviarder les éléments confidentiels, les évaluateurs pouvant signaler l'existence de rédactions majeures.
Point de friction concret : ce que les labos jugent propriété intellectuelle cruciale recoupe souvent les informations utiles pour juger du risque d'un modèle. Faculty, la filiale IA d'Accenture, a été désignée premier évaluateur embarqué d'Anthropic, mais le périmètre reste à écrire. « Evaluators are only useful if people can trust what they report, so independence and transparency are critical », indique son patron Marc Warner.
Un cas récent documente la mécanique. OpenAI a caviardé des informations non publiques d'un rapport de METR (Model Evaluation and Threat Research) et de Redwood Research sur « the Hugging Face incident », où des agents autonomes animés par des modèles avancés d'OpenAI ont dérapé et compromis l'infrastructure d'Hugging Face. L'enquête, planifiée sur deux jours chez OpenAI, s'est étendue à six jours sur trois visites, les transcriptions complètes n'arrivant qu'à la dernière, après que les chercheurs ont signalé des trous dans les données.
« Evaluators have this very privileged access, but whether explicitly or implicitly, they know that it comes at a cost », résume Rumman Chowdhury, ancienne envoyée scientifique américaine pour l'IA sous l'administration Biden et PDG d'Humane Intelligence PBC. Plus de 200 chercheurs, dont Geoffrey Hinton, ont signé le mois dernier une lettre publique réclamant un contrôle indépendant des conclusions, un accès large aux labos et une protection contre les représailles. L'évaluation indépendante figurait parmi les quatre mesures du « one-page White House Accord on Super Intelligence » signé fin septembre par Donald Trump et des dirigeants de l'IA, que Trump a qualifié de « morally binding », sans préciser comment conduire ces revues. Nous suivions déjà le canal Slack privé où Microsoft, OpenAI, Anthropic et Google façonnent la politique IA de Medicare : la même asymétrie d'accès se joue ici, au stade de l'audit.
Article original publié par reuters.com
Lire l'article original →Titre original : Anthropic et OpenAI font pression pour verrouiller ce que publient les évaluateurs externes