Cloudflare Permet aux Sites de Facturer les Bots IA avec ‘Pay Per Crawl’

Cloudflare offre une nouvelle option aux éditeurs : faire payer les robots d’IA pour l’exploration de leurs sites en utilisant un système de paiement HTTP 402 réactivé.

Grâce à son nouveau système « Pay Per Crawl« , les propriétaires de sites web peuvent facturer l’accès à leur contenu aux bots IA. Le système offre aux éditeurs une approche alternative à leur politique actuelle à deux options, qui permet soit le grattage de données IA, soit le blocage complet de l’accès IA.

« De nombreux éditeurs, créateurs de contenu et propriétaires de sites web ont actuellement l’impression de n’avoir qu’un choix binaire – soit laisser la porte d’entrée grande ouverte pour que l’IA consomme tout ce qu’ils créent, soit créer leur propre jardin clos », a déclaré Cloudflare. « Mais et si il y avait une autre voie? »

Avec Pay Per Crawl, les créateurs de contenu peuvent désormais décider qui entre et à quel prix. Ils peuvent laisser certains robots d’IA entrer gratuitement, bloquer totalement les autres, ou faire payer pour l’accès. « Nous voulions que les créateurs de contenu aient le contrôle sur qui accède à leur travail », a déclaré Cloudflare. « Les créateurs devraient être aux commandes. »

La décision intervient au milieu d’une réaction grandissante contre les entreprises d’IA qui utilisent le contenu web sans consentement. Par exemple, YouTube a été critiqué pour avoir permis à Google de extraire des vidéos sans prévenir les créateurs. De plus, la fonctionnalité AI Overviews de Google a réduit le trafic vers les sites d’actualités comme le HuffPost et The Washington Post de plus de 50%.

« Google se contente de prendre du contenu de force et de l’utiliser sans rien donner en retour – la définition du vol », a déclaré Danielle Coffey, présidente de l’Alliance News/Media.

L’outil fonctionne en utilisant une ancienne fonctionnalité du web : le code de réponse HTTP 402, qui signifie « Paiement requis ». Si un bot IA tente d’accéder à une page, le serveur peut désormais répondre avec un 402 et inclure une étiquette de prix. Si le bot accepte de payer, le serveur livre le contenu.

Cloudflare fournit l’infrastructure technique et gère les paiements. Les éditeurs peuvent fixer un prix fixe par requête de crawl et même appliquer différentes règles pour différents bots. Même si un bot n’est pas enregistré chez Cloudflare, il peut toujours être « facturé » – bloquant essentiellement l’accès, mais laissant de la place pour de futures transactions.

Ce système pourrait conduire à une licence plus flexible et à une tarification dynamique à l’avenir. Comme le dit Cloudflare : « En fournissant aux créateurs un mécanisme robuste et programmatique pour valoriser et contrôler leurs actifs numériques, nous les habilitons à continuer de créer le contenu riche et diversifié qui rend Internet inestimable. »