AI Scraping neemt drastisch toe volgens TollBit
Het onofficieel en ongeautoriseerd verzamelen van data door AI-systemen, beter bekend als 'AI scraping', is in het tweede kwartaal van 2025 (Q2) drastisch toegenomen. Dit blijkt uit het meest recente "State of the Bots"-rapport van TollBit, een platform dat de interactie tussen uitgevers en AI-bedrijven monitort en monetariseert.
Volgens het rapport is het relatieve volume van AI-bezoekers aan websites op het netwerk van TollBit verviervoudigd in Q2 2025. Aan het begin van het jaar was nog slechts 1 op de 200 bezoekers afkomstig van AI, nu is dat al 1 op de 50.
Tegelijkertijd daalde het menselijke verkeer op deze websites met 9,4%.
De bevindingen benadrukken de groeiende uitdaging voor contentmakers:
- Robots.txt wordt massaal genegeerd: 13,3% van de AI-bots negeerde in Q2 de robots.txt-instructies, een verviervoudiging ten opzichte van het voorgaande kwartaal. Dit wijst op een toenemende onwil van AI-bedrijven om de wensen van contenteigenaren te respecteren.
- Vermomde Bots: Veel van de nieuwe AI-browsers en -tools, zoals Perplexity Comet en Firecrawl, zijn ontworpen om in sitelogboeken op menselijke browsers (zoals Chrome) te lijken.
- Actieve Tegenmaatregelen: Als reactie op de toename hebben websites actieve maatregelen genomen. Het aantal redirects naar de TollBit Bot/Agent Paywall – een betaalmuur om AI-verkeer te beprijzen – is in Q2 met maar liefst 360% gestegen.
Het rapport onderstreept een fundamentele verschuiving in het internetverkeer, waarbij uitgevers steeds actiever proberen inkomsten te genereren uit het AI-verkeer dat hun waardevolle content schraapt.
Meer over Internet
Over Witold Kepinski
