techpolicy.press détecté sur le web

Stanford : les LLM contaminent les rapports gouvernementaux

TL;DR

  • Une agence européenne, une politique sud-africaine et un rapport de la Maison-Blanche ont diffusé entre mai 2025 et avril 2026 des documents citant des travaux inexistants.
  • Une étude 2023 parue dans Scientific Reports mesure 55 % de citations entièrement fabriquées pour GPT-3.5 et 18 % pour GPT-4.
  • Rachel A. George (Stanford, Carnegie) plaide pour traiter l'intégrité de la recherche comme une infrastructure critique de sécurité nationale.

Une agence européenne de cybersécurité, une stratégie nationale d'IA, un rapport phare de la Maison-Blanche sur la santé publique. Entre mai 2025 et avril 2026, les trois ont publié des documents officiels bâtis en partie sur des travaux qui n'existent pas. C'est le fil que tire Rachel A. George, chercheuse en relations internationales à Stanford et fellow au Carnegie Endowment, dans un essai publié par Tech Policy Press.

Le catalogue est concret. Un rapport d'ENISA, l'agence européenne de cybersécurité, comportait selon des chercheurs extérieurs 26 notes de bas de page incorrectes sur 492. L'Afrique du Sud a retiré son projet de politique nationale d'IA après que des médias ont établi qu'au moins six de ses soixante-sept citations académiques étaient fabriquées. Aux États-Unis, l'évaluation « Make Our Children Healthy Again » citait des études inexistantes et en attribuait d'autres à de mauvais auteurs ; le Washington Post a repéré dans des dizaines de notes le marqueur « oaicite », signature typique de citations produites par un modèle d'OpenAI.

Les taux de fabrication documentés en laboratoire aident à comprendre pourquoi ces artefacts finissent dans des rapports d'État. Une étude parue en 2023 dans Scientific Reports a mesuré 55 % de citations entièrement inventées pour GPT-3.5, contre 18 % pour GPT-4, sur des revues de littérature générées à la demande. Une étude expérimentale de 2025 dans JMIR Mental Health rapporte qu'environ une citation sur cinq produite par GPT-4o est fabriquée, et près des deux tiers sont soit fabriquées soit inexactes une fois les erreurs bibliographiques comptées.

L'argument de George déplace ces chiffres du monde académique vers celui de la sécurité nationale. Elle rappelle que des milliers d'analystes des dix-huit agences du renseignement américain utilisent déjà Osiris, un outil génératif construit par la CIA pour l'analyse en sources ouvertes, et cite une simulation menée à Stanford dans laquelle chacun des cinq grands modèles testés a montré des tendances à l'escalade en contexte militaire et diplomatique. Il n'existe pas de cas public d'une évaluation nucléaire compromise par ces hallucinations, écrit-elle, mais « le risque demeure et les conséquences sont catastrophiques ».

La mise en garde honnête, c'est que le texte est un plaidoyer. Les incidents cités sont réels et bien sourcés, mais le lien direct entre citations fabriquées et décisions stratégiques faussées reste, de l'aveu de l'autrice, hypothétique. Ce que l'essai n'apporte pas non plus, c'est un chiffrage du coût de la vérification systématique qu'il appelle de ses vœux, ni un calendrier réaliste pour que les acheteurs publics l'imposent aux fournisseurs. Le mouvement à surveiller est du côté de cette infrastructure de vérification, car les fournisseurs qui savent ancrer leurs réponses dans des sources récupérables plutôt que dans la mémoire du modèle, et les prestataires capables d'auditer des bibliographies gouvernementales, tiennent là un marché qui n'existait pas il y a deux ans.

Shared on Bluesky by 3 AI experts