Cloudflare voert Pay per Crawl in om AI-bots te laten betalen voor content
amsterdam, woensdag, 2 juli 2025.
Cloudflare heeft een nieuw systeem ingevoerd genaamd Pay per Crawl, waarmee contentcreators AI-bots kunnen laten betalen voor toegang tot hun content. Dit biedt website-eigenaren meer controle over hoe hun inhoud wordt gebruikt en helpt bij het beschermen van intellectueel eigendom. De service is momenteel in private beta en maakt gebruik van bestaande webinfrastructuur, zoals HTTP-statuscodes en authenticatiemechanismen, om een betaalmechanisme te creëren. Website-eigenaren kunnen kiezen om crawlers gratis toegang te geven, te blokkeren of te laten betalen, wat een nieuwe economische model creëert voor de digitale wereld.
Nieuw systeem biedt meer controle
Met het nieuwe Pay per Crawl-systeem van Cloudflare kunnen website-eigenaren beslissen of ze AI-crawlers gratis toegang geven, blokkeren of laten betalen voor het crawlen van hun inhoud [1]. Dit geeft website-eigenaren meer controle over hun digitale activa en helpt bij het beschermen van intellectueel eigendom. Matthew Prince, co-founder en CEO van Cloudflare, stelt: “Als het internet de AI-leeftijd moet overleven, moeten we uitgevers de controle geven die ze verdienen en een nieuwe economische model bouwen dat werkt voor iedereen – makers, consumenten, toekomstige AI-oprichters en de toekomst van het web zelf.” [3]
Technische werking van Pay per Crawl
Het Pay per Crawl-systeem maakt gebruik van HTTP-statuscodes en bestaande authenticatiemechanismen om een betaalmechanisme voor content-toegang te creëren [1]. Domain owners hebben volledige controle over hun monétisatiestrategie en kunnen kiezen om crawlers gratis toegang te geven, ze te laten betalen, of ze volledig te blokkeren [1]. Als een crawler geen factureringsrelatie heeft met Cloudflare, kan de publisher hen nog steeds ‘laten betalen’, wat functioneel gelijkstaat aan een netwerklevel blokkade (HTTP 403 Forbidden response) [1].
Beta-fase en implementatie
Pay per Crawl is momenteel in private beta en integreert met bestaande webinfrastructuur [1]. Crawler-operators moeten een Ed25519-sleutelpaar genereren, zich bij Cloudflare registreren en HTTP Message Signatures gebruiken bij elke aanvraag [1]. Crawler-aanvragen kunnen reactief of proactief zijn: bij een reactieve aanvraag krijgt de crawler een HTTP 402 Payment Required als er betaald moet worden, bij een proactieve aanvraag kan de crawler alvast een maximumprijs specificeren [1]. Financiële afwikkelingen vinden plaats via de Cloudflare-account, waarbij de crawler wordt gefactureerd en de opbrengsten aan de uitgever worden verdeeld [1].
Ondersteuning van uitgevers en AI-bedrijven
Top globale uitgevers, media- en technologiebedrijven, waaronder ADWEEK, The Associated Press, Condé Nast, Gannett Media, en Reddit, steunen het permission-based model voor AI-crawling [3]. Roger Lynch, CEO van Condé Nast, merkt op: “Cloudflare’s innovatieve aanpak om AI-crawlers te blokkeren is een spelveranderder voor uitgevers en stelt een nieuwe standaard vast voor hoe content online wordt gerespecteerd.” [3] Nicholas Thompson, CEO van The Atlantic, benadrukt: “Dit kan het machtsverhouding dramatisch veranderen. Tot nu toe hoefden AI-bedrijven niet te betalen om content te licenseren, omdat ze wisten dat ze het gewoon konden pakken zonder gevolgen.” [4]
Impact op contentverdeling en -monétisatie
De traditie van het internet, waarbij zoekmachines inhoud indexeren en gebruikers doorsturen naar de originele websites, wordt ondermijnd door AI-crawlers die inhoud verzamelen zonder bezoekers naar de originele bronnen te sturen [3]. Dit nieuwe beleid van Cloudflare is gericht op het behoud van een duurzame toekomst voor zowel inhoudscreeërs als AI-innovators [3]. De nieuwe standaardinstelling van Cloudflare is de eerste stap richting een duurzamer toekomst voor inhoudscreeërs en AI-innovators [3].
Uitbreiding van Cloudflare Radar
Cloudflare Radar biedt nu nieuwe inzichten in het gedrag van AI-bots, waaronder de crawl-to-refer-ratio, die het verhouding tussen het aantal HTML-pagina-aanvragen van crawlers en het aantal HTML-pagina-aanvragen met refererende headers toont [2]. Deze ratio helpt website-eigenaren beslissen welke AI-bots ze willen toestaan en welke ze moeten blokkeren [2]. De tijdreeksgegevens zijn beschikbaar via de Data Explorer en een API-eindpunt, wat website-eigenaren helpt bij het begrijpen van de impact van AI-bots op hun internetverkeer [2].
Controle en transparantie
Cloudflare introduceert ook een uitgebreide geverifieerde bots-directory met gedetailleerde informatie over elke bot, inclusief naam, eigenaar, categorie en rang [2]. De nieuwe directory stelt gebruikers in staat om bots te zoeken en te filteren op verschillende criteria [2]. De bots-specifieke pagina’s bieden metadata, user-agent informatie en verkeers Trends voor elke bot, wat de transparantie en controle voor contentcreators verhoogt [2].