Cloudflare wil AI-crawlers laten betalen

De ‘pay-per-crawl’ functie is momenteel in beta, zo schrijft Cloudflare op zijn blog. Enkele uitgevers en content creators zijn momenteel de tool aan het testen. Het systeem moet hen wat teruggeven voor een eindeloze stroom aan AI-crawlers die hun sites komen plunderen.

Scraping

De manier waarop veel AI getraind wordt, is namelijk via ‘scraping’. Een crawler gaat automatisch alle sites en webpagina’s af om daar teksten, beelden en meer te indexeren, die later gebruikt kunnen worden om een AI-model te trainen. Het concept van een crawler bestaat al langer, en wordt al jaren gebruikt door bijvoorbeeld Google en Bing om het internet te indexeren en doorzoekbaar te maken.

Maar met de opkomst van AI zijn er nu veel meer crawlers, die extra trafiek genereren zonder daar iets voor terug te geven. Er moet daarom iets worden gedaan om te zorgen dat mensen die eigen content maken de ‘age of AI’ overleven, zegt Cloudflare. En waar nogal wat sites nu beginnen crawlers te blokkeren, zou compensatie misschien ook een oplossing zijn. ‘Originele content is wat van het internet een van de beste uitvindingen van de voorbije eeuw maakt, en het is essentieel dat makers dat blijven doen’, zo schrijft Matthew Prince, CEO van Cloudflare, in een blogpost. ‘Ons doel is om de macht terug in de handen van de makers te leggen, en terwijl ook AI-bedrijven te helpen om te innoveren. We willen de toekomst van een vrij internet beschermen.’

Compromis vinden

Het systeem, dat eind vorig jaar al werd aangekondigd laat sites kiezen of ze alle AI-crawlers laten betalen of sommigen gratis toelaten, bijvoorbeeld omdat de uitgever al een bredere deal heeft gesloten met dat bedrijf. Dit plan vereist echter ook de medewerking van AI-bedrijven zelf. Cloudflare zegt hier een samenwerking te hebben met enkele partners. Volgens het internetbedrijf hebben die er zelf baat bij om af en toe nieuwe content te krijgen om hun modellen up to date te houden. Het is alvast een eerste idee om een soort compromis te sluiten in een wereld die momenteel nog hele erg Far West aanvoelt.

In samenwerking met Data News