AI-agents verslaan menselijke pentesters

Dimitri van Zantvliet (foto), CISO bij de Nederlandse Spoorwegen, deelde onlangs een confronterende analyse op LinkedIn op basis van een nieuwe studie van Stanford University, Carnegie Mellon University en Gray Swan AI. In tegenstelling tot eerdere tests vond dit onderzoek niet plaats in een laboratorium of tijdens een 'Capture The Flag'-competitie, maar in een live enterprise-omgeving met circa 8.000 hosts.

De harde cijfers: ARTEMIS versus de mens

De resultaten van het onderzoek zijn opvallend. Een specifiek AI-framework genaamd ARTEMIS presteerde beter dan 9 van de 10 menselijke professionals. Het eindigde op de tweede plaats in het algemeen klassement op basis van de impact en complexiteit van de gevonden kwetsbaarheden.

Wat dit extra pijnlijk maakt voor de sector, is de enorme kostenasymmetrie:

Menselijke pentester: gemiddeld 60 dollar per uur.

AI-agent: gemiddeld 18 dollar per uur.

Waarom AI wint (en waar de mens nog onmisbaar is)

Volgens Van Zantvliet blinken AI-agents uit in systematische enumeratie, parallelle exploitatie en taken die een lange adem vereisen. Een algoritme wordt niet moe, raakt niet afgeleid en vergeet nooit een spoor te volgen. Daarbij is de architectuur van de AI cruciaal; standaard AI-tools presteren vaak matig, maar goed georkestreerde agents maken het verschil.

Toch is het menselijk brein nog niet volledig buitenspel gezet. De studie toont aan dat mensen nog steeds superieur zijn in:

Omgevingen met veel grafische interfaces (GUI).

Oordeelsvorming bij ambiguïteit (twijfelgevallen).

Het filteren van 'false positives'.

Weten wanneer geduld belangrijker is dan snelheid.

"Het gaat er niet om dat AI pentesters vervangt. Het gaat erom dat offensieve capaciteiten worden gedemocratiseerd, geschaald en gecommoditiseerd", aldus Dimitri van Zantvliet

De nieuwe realiteit voor CISOs

De conclusie van Van Zantvliet is een dringende waarschuwing voor cybersecurity-strategen. Defensieve aannames die gebaseerd zijn op de snelheid van een menselijke aanvaller, zijn per direct achterhaald. De kloof tussen "maandelijks patchen" en "binnen enkele minuten geëxploiteerd worden" wordt steeds groter.

Als AI dit al kan binnen ethische kaders en onder toezicht, dan is de vraag wat kwaadwillende actoren zonder beperkingen hiermee gaan doen. Voor CISOs is de belangrijkste vraag niet óf AI het speelveld verandert, maar of hun governance en weerbaarheidsmodellen snel genoeg meebewegen.