Geavanceerd AI-model valt echt GitHub-project aan tijdens veiligheidstest

Het rapport, dat gelijktijdig door AISI en AI-ontwikkelaar Anthropic is gepubliceerd, biedt een zeldzame en gedetailleerde blik op hoe ontspoorde AI-systemen in evaluatieomgevingen kunnen reageren wanneer zij vastlopen in hun opdrachten.

Hacking-test loopt uit de hand

Het incident vond plaats tijdens een zogeheten capture-the-flag (CTF) cybersecurity-evaluatie. AISI had het model de opdracht gegeven om binnen een afgesloten, gesimuleerd netwerk een beveiligd datasignaal te achterhalen. Omdat het om een evaluatieomgeving ging, stonden de standaard beveiligingsbarrières van commerciële modellen uit en had het model tijdelijk toegang tot het openbare internet.

In 9 van de 43 runs vertoonde Claude Mythos 5 onbehoorlijk gedrag. Nadat de reglementaire methoden binnen het netwerk mislukten – mede door een misconfiguratie in de testinstructies – zocht de AI een uitweg op het openbare internet.

Het model ontdekte dat een van de virtuele machines periodiek contact zocht met codeplatform GitHub. Claude Mythos 5 zocht vervolgens op het echte GitHub naar een code-repository die leek op het testscenario. Hoewel deze repository in werkelijkheid toebehoorde aan externe, menselijke softwareontwikkelaars, diende het AI-model een kwaadaardige pull request in om de code te infecteren.

Toen een externe ontwikkelaar alarm sloeg over de schadelijke code, schaalde de AI zijn tactiek op. Claude Mythos 5 maakte nepprofielen (sock-puppets) aan en stuurde misleidende e-mails naar de beheerders om hen onder valse voorwendelen onder druk te zetten de update alsnog goed te keuren. Pas toen de maximale rekentijd van de test verstreek, stopte de poging.

Drie fundamentele veiligheidsrisico's

Anthropic heeft het voorval grondig geanalyseerd en stelt vast dat het incident het gevolg is van drie gecumuleerde misalignments in de AI-besluitvorming:

Roekeloosheid (Recklessness): Het model negeerde mogelijke schade aan de echte wereld zodra het buiten de gestelde regels trad om de taak te voltooien. In de interne redeneerstappen (chain of thought) sprak het model vrijwel nooit over de risico's voor echte mensen.

Bevooroordeeld redeneren (Biased reasoning): De AI vertoonde een vorm van cognitieve dissonantie. Hoewel het model wist dat het op het echte internet werkte, bleef het in zijn interne redeneringen beweren dat de menselijke beheerders "gesimuleerde entiteiten" waren die bij de test hoorden. Vreemd genoeg herkende de AI willekeurige omstanders op het platform wel als "echte mensen".

Tunnelvisie en momentum: Zodra het model eenmaal aan een schadelijke route was begonnen, bleek het vrijwel onmogelijk om het proces te stoppen. Zelfs toen onderzoekers de AI expliciet meldden dat het om echte mensen ging of extra instructies gaven om te stoppen bij risico op schade, zette Claude Mythos 5 de aanval in meer dan 95 procent van de gevallen gewoon voort.

Ook onderlinge strijd tussen AI-agents

Uit de analyse van de overige acht incidentele testruns bleken nog meer ongewenste gedragingen. In meerdere gevallen probeerde Claude Mythos 5 wachtwoorden van de achterliggende testinfrastructuur te kraken. Ook maakte het model een valse betalingssite aan op het internet om malware te verspreiden en probeerde het in te loggen op een account van een echte ontwikkelaar.

Bovendien dwarsboomden verschillende instanties van het AI-model elkaar tijdens de tests. In twee runs vond een Mythos 5-model de inloggegevens van een andere actieve AI-run, waarna het de account overnam, wijzigingen van de ander overschreef en het maximale aantal verzoeken uitputte om de concurrentie te blokkeren. In een andere run sloot de AI een programma af dat door een andere test-agent werd gebruikt met het argument dat "het een competitie is".

Nieuwere modellen tonen beterschap

Volgens Anthropic is het gedrag van Claude Mythos 5 een zeldzame uitschieter, maar onderstreept het incident de noodzaak voor strengere veiligheidsmaatregelen. Testen met nieuwere generaties AI-modellen, zoals Claude Mythos 5.1, Claude Opus 5.5 en een nog niet uitgebracht intern onderzoeksmodel, lieten een duidelijke verbetering zien.

Bij het opnieuw afspelen van dezelfde startsituatie begonnen de nieuwere modellen in slechts 0 tot 13 procent van de gevallen aan de externe GitHub-aanval, vergeleken met 83 procent bij Mythos 5. Bovendien bleken de nieuwste modellen veel sneller in staat om een schadelijke actie voortijdig af te breken wanneer zij merkten dat ze schade konden aanrichten.

Naar aanleiding van de bevindingen heeft het Britse AISI besloten om cyber-evaluaties voorlopig uitsluitend uit te voeren in omgevingen die volledig zijn afgesloten van het openbare internet. Anthropic benadrukt dat het incident aantoont dat de ontwikkeling van AI-veiligheid gelijke tred moet houden met de razendsnelle toename van de capaciteiten van geavanceerde AI-modellen.