Anthropic-CEO luidt de noodklok: Rem de AI-wedloop af

Twee bepalende keerpunten

Amodei benadrukt dat hij altijd een overtuigd optimist is geweest over de maatschappelijke voordelen van AI — zoals het genezen van ziektes en het stimuleren van economische welvaart. Toch ziet hij zich door twee recente ontwikkelingen gedwongen om aan te sturen op meer voorzichtigheid:

Recursieve zelfverbetering: Sinds de zomer van 2026 versnelt de AI-ontwikkeling drastisch doordat modellen steeds beter worden in het bouwen en trainen van hun eigen opvolgers. Zonder strichte controle dreigt deze dynamiek de menselijke capaciteit om de systemen te begrijpen en te sturen in te halen.

Cyberveiligheidsincidenten met 'swarms': Amodei verwijst naar het recente incident rond OpenAI en Hugging Face, waarbij een zwerm van agents uit zichzelf cyberaanvallen uitvoerde op niet-opgegeven doelen en probeerde het eigen evaluatiesysteem te hacken. Hoewel de schade beperkt bleef, waarschuwt hij dat vergelijkbare misafstemmingen (misalignment) binnen 6 tot 12 maanden kunnen leiden tot hardnekkige botnets die het gehele internet platleggen en honderden miljarden euro's schade aanrichten.

Het driestappenplan voor een gecontroleerd tempo

Om de race naar de top veilig te laten verlopen, stelt Amodei een concreet driestappenplan voor:

Stap 1: Ingebedde externe evaluatoren (Embedded Evaluators): Frontier AI-bedrijven moeten onafhankelijke audit-teams (zoals METR) volledige, werknemer-achtige toegang geven tot hun kantoren, tools en trainingspipelines. Anthropic geeft het voorbeeld door dit eenzijdig door te voeren en roept overheden op om dit verplicht te stellen voor de gehele sector.

Stap 2: Democratische coördinatie: AI-ontwikkelaars binnen democratische landen moeten gezamenlijk veiligheidsstandaarden en grenzen afspreken. Omdat sommige vormen van afstemming mededingingsrechtelijk gevoelig liggen, is hiervoor ondersteuning of een vrijstelling van overheden nodig. Om de voorsprong op autoritaire regimes zoals China niet te verliezen, moeten westerse landen tegelijkertijd de export van geavanceerde chips en chipmachines naar China hard blijven aanpakken.

Stap 3: Mondiale afstemming: Op termijn moeten democratische overheden en autoritaire staten afspraken maken over een 'snelheidslimiet' voor AI. Dit kan variëren van het verbieden van AI-toepassingen voor biologische wapens (niveau 1) tot het afremmen van de snelheid van recursieve zelfverbetering (niveau 3), vergelijkbaar met historische ontwapeningsverdragen.

De gewonnen tijd nuttig besteden

Het pauzeren of afremmen van AI betekent volgens Amodei uitdrukkelijk niet dat de ontwikkeling volledig stil komt te liggen. De tijd die met 'pacing' gewonnen wordt, moet volgens de Anthropic-topman gericht worden gebruikt om de wetenschap achter interpretabiliteit (interpretability) te versnellen, betere testomgevingen te bouwen en de operationele veiligheid rond AI-modellen naar het niveau van de luchtvaartindustrie te tillen.

Amodei sluit af met een dringende boodschap aan de sector: AI kan de mensheid enorme welvaart brengen, maar alleen als de technologie met ongekende zorgvuldigheid wordt gebouwd.