Cloudflare bloquera les crawlers IA mixtes dès le 15 septembre
TL;DR
- Cloudflare's three-tier taxonomy (Search, Agent, Training) is the first CDN-layer classification of AI crawler intent, not just traffic volume.
- Mixed-use crawlers from Google, Apple, and Bing will be blocked entirely on Training-restricted pages, forcing major search engines to restructure their bots.
- Anthropic fetches 11,122 pages per referral sent back to publishers; AI referrals drive 96% less outbound traffic than traditional search.
Cloudflare vient de fixer une date que tous les crawlers IA ont désormais dans le viseur. À partir du 15 septembre 2026, l'entreprise bloquera par défaut les bots dits "à usage mixte" sur les pages hébergeant de la publicité, rapporte TechCrunch. Concrètement, si un même robot sert à la fois la recherche, l'entraînement et les agents, il faudra désormais le séparer, ou renoncer à visiter une grande partie du web monétisé.
La portée immédiate reste toutefois délimitée. Le blocage par défaut concernera les nouveaux clients Cloudflare, les nouveaux sites créés par les clients existants et l'ensemble des comptes gratuits. La formulation est prudente mais l'orientation est nette : forcer les acteurs de l'IA à déclarer ce qu'ils font des contenus qu'ils aspirent. Son PDG Matthew Prince l'a résumé ainsi, "maintenant que la majorité du trafic sur Internet n'est plus humain, nous devons aller plus loin et agir plus vite pour qu'un écosystème durable émerge".
En parallèle, Cloudflare transforme son expérimentation Pay Per Crawl en un modèle plus large baptisé Pay Per Use. L'idée est de rémunérer les éditeurs quand leur contenu apparaît dans une réponse d'IA ou quand un agent achète une information premium pour une tâche précise. Les deux premiers partenaires cités sont Ceramic.ai, qui paie les éditeurs lorsque leur contenu apparaît dans ses résultats de recherche IA, et You.com, qui rémunère l'accès à des contenus premium.
Ce que le reportage ne tranche pas, c'est le prix. Aucun barème public, aucun engagement des grands laboratoires à participer, et Google conserve son propre régime avec Google Extended, qui permet d'exclure des contenus de l'entraînement sans toucher à l'indexation par Googlebot, y compris pour les AI Overviews. Autrement dit, Cloudflare ne peut forcer personne à payer, il peut seulement rendre le refus plus coûteux techniquement.
Reste que l'infrastructure basculerait, si la mesure tient, d'un web scrappé silencieusement vers un web où chaque passage laisse une trace tarifable. Pour un éditeur, c'est la première fois qu'un intermédiaire majeur propose la chaîne complète : blocage par défaut, marché de compensation et deux clients IA déjà prêts à payer. C'est peu à l'échelle du secteur, mais c'est plus concret que les batailles judiciaires en cours.
Ce qu'en disent les autres médias
-
Cloudflare Blog Lire →
First-party post reveals BotBase enterprise feature, RFC 7239 transitive trust mechanism, and a three-level robots.txt `use` parameter (immediate/reference/full) for machine-readable AI licensing.
-
Forbes Lire →
Forbes quotes CSO Stephanie Cohen and frames this as a revenue model decision for ad-dependent publishers, adding Anthropic's 11,122-pages-per-referral stat and a caution about new CDN dependencies.
The vast majority of our customers want AI to engage with their content. However, for those who rely on advertising and subscriptions, the challenge is distinct.
-
Engadget Lire →
Engadget foregrounds CEO Matthew Prince and frames the policy as a structural challenge to Google's single unified crawler, which blends search indexing and AI training in one bot.
Now that the majority of traffic on the Internet is non-human, we must go further.
-
The Next Web Lire →
TNW introduces 'Answer Engine Optimization' as the new SEO paradigm and flags economic modeling that predicts open-web collapse if the crawl-to-referral bargain is not repaired.
From 15 September, Cloudflare will block crawlers that harvest content for AI training from any page carrying ads, unless the owner opts in.
-
Help Net Security Lire →
Help Net Security details the Verified Bot accountability layer: bots must now prove compliance with content-use policies to retain trusted status, adding enforcement teeth beyond defaults.
Content owners still want to be able to protect their content, and they should be compensated for the original content that they work hard to create, curate, and share.
Article original publié par techcrunch.com
Lire l'article original →Titre original : Cloudflare impose aux crawlers IA de séparer recherche et entraînement avant le 15 septembre, sous peine d'être bloqués par défaut sur les pages monétisées