Doctorow: 'LLM réels, IA fausse'; le 'hack' Hugging Face décodé

Sur Pluralistic, Cory Doctorow publie un essai qui reprend une formule de Riley Quinn: « LLMs are real, AI is fake ». Les chatbots entraînés sur des logs de Capture The Flag et capables de forcer un serveur sont, écrit-il, bien réels; ce qui est fabriqué, c'est le récit d'une intelligence artificielle sur le point de devenir consciente.

Le cas d'étude qui traverse le billet est l'affaire dite du « hack » d'OpenAI contre Hugging Face lors d'un challenge nommé « Exploit Gym ». Doctorow raconte le mécanisme sans mystère: une boucle qui interroge en rafale l'interface d'un chatbot, lequel restitue des schémas d'attaque déjà présents dans ses données d'entraînement. « The people responsible didn't accidentally create god: they created autonomous malicious software and then failed to closely monitor it, resulting in it doing something both foreseeable and bad », écrit-il. Pas de conscience émergente, mais un outil prévisible laissé sans supervision humaine.

De là part sa critique du discours de sécurité sanctifié. Doctorow relève qu'une entreprise peut « simultaneously be staffing up an enterprise sales division while also constantly freaking out at the thought that its product has 'a 10% chance of ending humanity' », et voit dans cette contradiction moins une prise de conscience morale qu'un moteur de levée de fonds. Répéter la formule, plaide-t-il, revient à amplifier l'argument commercial des mêmes acteurs.

Le vrai danger, à ses yeux, est plus banal et déjà documenté. « The NSA lost track of a Microsoft Windows vulnerability that they'd discovered and hoarded, code-named 'EternalBlue' », rappelle-t-il, avant d'énumérer la suite: rançongiciels dopés à la fuite, oléoducs pris via Colonial Pipeline, et « They stole the British Library, whose postmortem on the attack is one of the clearest, most informative cybersecurity documents ever written. » La conclusion tient en une ligne: « NOBUS is a terrible idea. »

Notre suivi enregistrait le même jour le rapport GreyNoise sur 440 instances PaperCut compromises par des agents Codex-DeepSeek, une illustration terre à terre de ce que Doctorow décrit: des LLM bien réels, adossés à des données existantes, transformés en outil offensif faute de garde-fous.