Anthropic zet de deuren open voor externe AI-inspecteurs

Het besluit vloeit voort uit toezeggingen die Anthropic vorige maand deed om de veiligheid van zijn geavanceerde AI-systemen strenger en transparanter te laten beoordelen door derden. Tevens volgt de stap op de ondertekening van het White House Accord on Super Intelligence, waarin toonaangevende AI-bedrijven beloofden samen te werken met externe auditoren.

Resident examiners: De bancaire analogie

Met het initiatief wil Anthropic de informatie-achterstand verkleinen die externe auditors doorgaans hebben ten opzichte van de ontwikkelaars zelf. AI-bedrijven delen uit concurrentieoverwegingen en veiligheidsrisico’s — zoals het lekken van bruikbare informatie naar kwaadwillenden — niet graag het achterste van hun tong in openbare rapporten.

Anthropic vergelijkt de nieuwe werkwijze met het toezicht in de financiële sector. Omdat banken een beter zicht hebben op hun eigen risicoprofiel dan buitenstaanders, plaatsen toezichthouders resident examiners (permanente inspecteurs) binnen de grootste banken om publieke risico's tijdig te signaleren.

In de praktijk zijn inmiddels zes medewerkers van non-profit organisatie METR uitgerust met hardware van Anthropic, kantoorruimte en toegang tot interne tools. Zij krijgen vrijwel dezelfde inzichten als de eigen risicoanalisten van de AI-gigant. Enkele strikt afgebakende categorieën, zoals klantgegevens, juridische adviezen en specifieke modelarchitecturen, blijven wel afgeschermd.

Publicatierijd met beperkte veto

Een essentieel onderdeel van de afspraak is de redactionele onafhankelijkheid van de onderzoekers. METR publiceert de bevindingen over de risiconiveau's en veiligheidsincidenten zelfstandig. Anthropic heeft geen vetorecht over de publicaties, maar kan enkel verzoeken om het zwartlakken van specifieke vertrouwelijke informatie binnen vooraf vastgestelde kaders.

Als METR het niet eens is met zo'n censuurverzoek, heeft de organisatie het recht om publiekelijk te vermelden dat zij een redactie onterecht vindt, zolang de vertrouwelijke data zelf niet wordt onthuld.

Drie niveaus van toegang

Naast de intensieve samenwerking met METR bouwt Anthropic aan een gelaagd model voor externe audits, onderverdeeld in drie fasen:

• Tier 1: Evaluatoren voeren specifiek afgebakend risico-onderzoek uit. Anthropic bepaalt de mate van toegang en publicatie vindt plaats na goedkeuring.
• Tier 2: Externe partijen krijgen ruimere toegang en mogen bevindingen publiceren zonder voorafgaande toestemming van Anthropic (met uitzondering van vastgestelde vertrouwelijke categorieën).
• Tier 3: Het niveau van 'werknemerstoegang' zoals dat nu met METR is opgezet.

Naast METR werkt Anthropic op dit moment samen met organisaties als SecureBio — dat onder meer risico's rond biologische en chemische wapens evalueert —, Accenture en Faculty. Ook lopen er oriënterende gesprekken met het bekende open-source platform Hugging Face.

Anthropic benadrukt dat het opzetten van deze vorm van ingebed toezicht op vrijwillige basis gebeurt, maar roept andere spelers in de markt voor 'frontier AI' op om hetzelfde voorbeeld te volgen.