Cloudflare lanceert 'Markdown for Agents'

Efficiënter AI-verkeer

Traditionele websites zijn gebouwd in HTML, een taal die rijk is aan opmaak voor menselijke bezoekers maar vaak onnodig complex is voor kunstmatige intelligentie. Volgens Cloudflare kost het inlezen van een HTML-pagina veel meer 'tokens' – de rekeneenheid voor AI – dan een versie in Markdown. Ter illustratie: een gemiddelde blogpost verbruikt in HTML ongeveer 16.180 tokens, terwijl de Markdown-variant slechts 3.150 tokens vereist, een reductie van 80%.

Markdown is in korte tijd de lingua franca voor AI geworden vanwege de expliciete structuur. Door content direct in dit formaat aan te bieden, besparen AI-agents rekenkracht en kosten, terwijl de nauwkeurigheid van de verwerking toeneemt.

Automatische conversie aan de bron

Met de nieuwe functie kunnen websites via het netwerk van Cloudflare in realtime content converteren. Wanneer een AI-agent een pagina opvraagt met een specifieke voorkeur voor Markdown in de aanvraagheader (de zogenaamde Accept: text/markdown header), herkent Cloudflare dit. Het netwerk haalt de originele HTML op bij de bronserver en zet deze 'on the fly' om naar gestructureerde Markdown voordat het resultaat aan de AI wordt geserveerd.

Cloudflare voegt hieraan ook 'Content Signals' toe. Dit is een framework waarmee website-eigenaren kunnen aangeven of hun content mag worden gebruikt voor zaken als AI-training, zoekresultaten of invoer voor agents.

Beschikbaarheid

De functie is per direct beschikbaar in bèta voor klanten met een Pro-, Business- of Enterprise-abonnement bij Cloudflare. Website-eigenaren kunnen de optie eenvoudig inschakelen via het dashboard van de provider. Cloudflare heeft de technologie zelf al geactiveerd op zijn eigen blog en documentatiepagina's om AI-crawlers uit te nodigen content op de meest efficiënte manier te consumeren.