Quatre majors de l'IA s'accordent sur un token robots.txt commun

OpenAI, Google, Microsoft et Anthropic disent qu'ils honoreront une seule ligne dans le fichier robots.txt d'un site : `User-Agent: __usage_ai-training`, suivie d'un `Disallow: /`, pour couper l'entraînement de tous leurs modèles d'un coup. Les exceptions se déclarent avec `Allow:`, par exemple `Allow: /press-kit/`, selon le projet publié sur The Verge.

Le signal est défini dans un Internet-Draft IETF intitulé « Machine-Readable Training Preference Signal », daté du 30 octobre 2026 et signé Kevin Kelley, d'Anthropic. OpenAI justifie l'opération ainsi : « Previously, website operators would identify individual crawlers and maintain separate rules for each and every provider. Having a shared signal across multiple providers reduces that work for operators. »

Les calendriers sont inégaux. Anthropic « a déjà commencé à l'implémenter ». Microsoft dit que ce sera « effective on February 1, 2027, as Microsoft crawls ». Google écrit : « We aim to support this new control along with other AI providers in 2027 ». OpenAI parle, lui, « des prochains mois ». Les 258 alertes OpenAI et 228 alertes Anthropic suivies côté AI Weekly sur 90 jours donnent la mesure du décalage entre le volume de leur actualité modèles et la lenteur de cette brique d'infrastructure.

Deux limites, posées par les éditeurs du signal eux-mêmes. OpenAI décrit le dispositif comme « a coordination mechanism rather than a security control » au sens de la RFC 9309, autrement dit un scraper non signataire peut l'ignorer sans rien enfreindre techniquement. Et modifier son robots.txt ne retire pas le contenu déjà présent dans les jeux d'entraînement existants ni dans les modèles déjà produits. Microsoft le dit en une phrase : « Allowing training can help improve future generative models. Neither choice guarantees inclusion, traffic, or payment. »

Subtilité technique utile pour les équipes SRE : les groupes `User-Agent: *` ne comptent pas, le signal doit cibler explicitement `__usage_ai-training`. Un robots.txt qui n'utilise pas ce mécanisme « n'exprime aucune préférence du tout ».