Cloudflare introduit Pay per Crawl pour faire payer les AI-bots pour le contenu
amsterdam, woensdag, 2 juli 2025.
Cloudflare a introduit un nouveau système appelé Pay per Crawl, permettant aux créateurs de contenu de faire payer les AI-bots pour l’accès à leur contenu. Cela offre aux propriétaires de sites web plus de contrôle sur l’utilisation de leur contenu et aide à protéger la propriété intellectuelle. Le service est actuellement en bêta privée et utilise des infrastructures web existantes, telles que les codes de statut HTTP et les mécanismes d’authentification, pour créer un mécanisme de paiement. Les propriétaires de sites web peuvent choisir d’accorder un accès gratuit aux crawlers, de les bloquer ou de les faire payer, ce qui crée un nouveau modèle économique pour le monde numérique.
Nouveau système offre plus de contrôle
Avec le nouveau système Pay per Crawl de Cloudflare, les propriétaires de sites web peuvent décider s’ils donnent un accès gratuit aux AI-crawlers, s’ils les bloquent ou s’ils les font payer pour le crawling de leur contenu [1]. Cela donne aux propriétaires de sites web plus de contrôle sur leurs actifs numériques et aide à protéger la propriété intellectuelle. Matthew Prince, co-fondateur et PDG de Cloudflare, déclare : « Si Internet doit survivre à l’ère de l’IA, nous devons donner aux éditeurs le contrôle qu’ils méritent et construire un nouveau modèle économique qui fonctionne pour tout le monde – les créateurs, les consommateurs, les futurs fondateurs d’IA et l’avenir d’Internet lui-même. » [3]
Fonctionnement technique de Pay per Crawl
Le système Pay per Crawl utilise des codes de statut HTTP et des mécanismes d’authentification existants pour créer un mécanisme de paiement pour l’accès au contenu [1]. Les propriétaires de domaines ont un contrôle total sur leur stratégie de monétisation et peuvent choisir d’accorder un accès gratuit aux crawlers, de les faire payer, ou de les bloquer complètement [1]. Si un crawler n’a pas de relation de facturation avec Cloudflare, l’éditeur peut toujours « le faire payer », ce qui revient fonctionnellement à une blocage au niveau du réseau (réponse HTTP 403 Forbidden) [1].
Phase bêta et mise en œuvre
Pay per Crawl est actuellement en bêta privée et s’intègre à l’infrastructure web existante [1]. Les opérateurs de crawlers doivent générer un couple de clés Ed25519, s’inscrire chez Cloudflare et utiliser des signatures de messages HTTP lors de chaque requête [1]. Les requêtes de crawlers peuvent être réactives ou proactives : lors d’une requête réactive, le crawler reçoit une réponse HTTP 402 Payment Required s’il doit payer, tandis qu’une requête proactive permet au crawler de spécifier un prix maximum à l’avance [1]. Les transactions financières sont effectuées via le compte Cloudflare, où le crawler est facturé et les revenus sont répartis entre les éditeurs [1].
Soutien des éditeurs et des entreprises d’IA
Les principaux éditeurs mondiaux, sociétés de médias et de technologie, y compris ADWEEK, The Associated Press, Condé Nast, Gannett Media et Reddit, soutiennent le modèle basé sur l’autorisation pour le crawling d’IA [3]. Roger Lynch, PDG de Condé Nast, note : « L’approche innovante de Cloudflare pour bloquer les AI-crawlers est un changement de paradigme pour les éditeurs et établit une nouvelle norme pour la manière dont le contenu en ligne est respecté. » [3] Nicholas Thompson, PDG de The Atlantic, souligne : « Cela peut changer radicalement la balance des pouvoirs. Jusqu’à présent, les entreprises d’IA n’avaient pas à payer pour licencier du contenu, car elles savaient qu’elles pouvaient simplement le prendre sans conséquences. » [4]
Impact sur la distribution et la monétisation du contenu
La tradition d’Internet, selon laquelle les moteurs de recherche indexent le contenu et redirigent les utilisateurs vers les sites web originaux, est sapée par les AI-crawlers qui collectent du contenu sans diriger les visiteurs vers les sources originales [3]. Cette nouvelle politique de Cloudflare vise à préserver un avenir durable pour les créateurs de contenu et les innovateurs en IA [3]. La nouvelle configuration par défaut de Cloudflare est la première étape vers un avenir plus durable pour les créateurs de contenu et les innovateurs en IA [3].
Extension de Cloudflare Radar
Cloudflare Radar offre maintenant de nouvelles insights sur le comportement des bots d’IA, notamment le ratio de crawl à référencement, qui montre la proportion entre le nombre de requêtes de pages HTML par les crawlers et le nombre de requêtes de pages HTML avec des en-têtes de référence [2]. Ce ratio aide les propriétaires de sites web à décider quels AI-bots ils veulent autoriser et lesquels ils doivent bloquer [2]. Les données de séries temporelles sont disponibles via l’explorateur de données et un point d’API, ce qui aide les propriétaires de sites web à comprendre l’impact des AI-bots sur leur trafic Internet [2].
Contrôle et transparence
Cloudflare introduit également un annuaire de bots vérifiés détaillé, avec des informations précises sur chaque bot, y compris son nom, son propriétaire, sa catégorie et son classement [2]. Le nouvel annuaire permet aux utilisateurs de rechercher et de filtrer les bots selon différents critères [2]. Les pages spécifiques aux bots fournissent des métadonnées, des informations sur l’agent utilisateur et des tendances de trafic pour chaque bot, ce qui augmente la transparence et le contrôle pour les créateurs de contenu [2].