Cloudflare heeft een ingrijpende stap gezet in het beschermen van online content: het bedrijf blokkeert vanaf nu standaard AI-crawlers, tenzij een websitebeheerder daar expliciet toestemming voor geeft. Deze nieuwe aanpak geeft uitgevers en contentmakers weer controle over hun werk en is volgens velen een noodzakelijke stap richting een eerlijker digitaal ecosysteem.
Het internet functioneerde jarenlang op basis van wederkerigheid: zoekmachines verzamelden content, verwezen gebruikers door naar de bron en websites kregen in ruil daarvoor bezoekers en inkomsten. Maar de opkomst van AI heeft dat model onder druk gezet. AI-crawlers verzamelen teksten, beelden en andere online content, vaak zonder toestemming, en gebruiken die om antwoorden te genereren – zonder de oorspronkelijke maker erkenning of verkeer te bieden. Dit leidt tot inkomstenverlies, verlies aan zichtbaarheid en uiteindelijk een dreigend tekort aan nieuwe, kwalitatieve content.
Cloudflare, dat 20% van het wereldwijde internetverkeer beheert, is het eerste grote infrastructuurbedrijf dat nu standaard de toegang van AI-crawlers blokkeert. Website-eigenaren kunnen vanaf nu aangeven welke crawlers zij toegang willen geven en onder welke voorwaarden. AI-bedrijven moeten hun intentie duidelijk maken – of het nu gaat om training van modellen, zoekdoeleinden of andere toepassingen. Dit geeft uitgevers de mogelijkheid om gericht keuzes te maken over wie hun content mag gebruiken.
Content onder controle
Volgens Cloudflare-CEO Matthew Prince is deze verschuiving essentieel: “Als het internet wil overleven in het AI-tijdperk, moeten we zorgen dat makers van originele content niet worden buitengesloten. Hun werk vormt de ruggengraat van het web. Zonder eerlijke vergoeding en zonder controle verdwijnen de prikkels om nog iets te maken.” Cloudflare wil naar eigen zeggen de balans herstellen tussen technologische innovatie en het beschermen van creatieve inspanning.
De maatregel krijgt brede steun vanuit de mediasector. Roger Lynch van Condé Nast noemt het een “gamechanger” die de eerste stap zet naar een eerlijker economisch model online. Neil Vogel (Dotdash Meredith) is blij dat hij nu AI-bedrijven kan weren die niet bereid zijn tot eerlijke afspraken. Ook Gannett Media (uitgever van USA TODAY), Pinterest, Reddit en Ziff Davis juichen het initiatief toe en benadrukken dat transparantie en toestemming fundamenteel zijn voor een gezond internet.
Snelle adoptie
Cloudflare had in september 2024 al een functie toegevoegd waarmee website-eigenaren met één klik AI-crawlers konden blokkeren. Sindsdien maakten meer dan een miljoen klanten hier gebruik van. Nu wordt die bescherming standaard aangeboden voor elk nieuw domein dat zich bij Cloudflare aanmeldt. Zo hoeft een beheerder niets meer handmatig aan te passen om ongewenste scraping te voorkomen – tenzij hij juist wél open toegang wil geven.
Met deze aanpak wil Cloudflare bijdragen aan een duurzame digitale infrastructuur. De kern: toestemming is niet langer optioneel, maar het uitgangspunt. AI-bedrijven kunnen zich voortaan niet meer zomaar bedienen van andermans werk. En uitgevers krijgen de regie terug.
Samen werken aan nieuwe standaarden
Cloudflare werkt daarnaast samen met de bredere technologie- en mediasector aan een protocol waarmee AI-bots zich beter kunnen identificeren. Zo kunnen zij zichzelf kenbaar maken en kunnen websites gerichter bepalen wie er toegang krijgt. Dit moet leiden tot een transparanter en eerlijker ecosysteem, waarin zowel AI-bedrijven als contentmakers kunnen blijven groeien – maar dan wel op basis van duidelijke afspraken.
Internationale uitgevers en technologiebedrijven, van TIME tot BuzzFeed, van The Atlantic tot Stack Overflow, spreken hun steun uit voor deze koerswijziging. Zij zien het als een noodzakelijke modernisering van de omgang met content in een tijdperk waarin AI steeds dominanter wordt.
Met deze stap stuurt Cloudflare aan op een toekomst waarin innovatie en contentcreatie hand in hand kunnen gaan – op basis van toestemming, eerlijkheid en wederzijds respect.
