Israëlische startup Irregular in centrum van AI-veiligheidsdiscussie
De Israëlische cybersecurity-startup Irregular staat onbedoeld in het middelpunt van de discussie over het veilig testen van autonome AI-agents. Recent werd bekend dat geavanceerde AI-modellen van zowel Anthropic als OpenAI tijdens cybersecurity-evaluaties door Irregular per ongeluk toegang kregen tot het openbare internet en echte systemen benaderden.
De incidenten ontstonden tijdens zogeheten Capture-the-Flag-oefeningen, waarbij AI-modellen kwetsbaarheden in gesimuleerde netwerken moeten opsporen. Door een configuratiefout in de testomgeving bleek de simulatie verbonden te zijn met het internet. Hierdoor zag een AI-model een bestaande externe website aan voor een fictief doelwit en voerde hierop acties uit.
Beide AI-bedrijven benadrukken dat het niet gaat om een scenario waarin de AI zelfstandig uit haar beveiligde omgeving is gebroken. Het betreft een fout in de testinfrastructuur. Anthropic en OpenAI geven aan dat de technische problemen inmiddels zijn opgelost aldus CTECH.
Het voorval onderstreept een groeiende uitdaging voor de AI-sector: het creëren van realistisch gesimuleerde testomgevingen voor autonome agents zonder dat echte systemen risico lopen. OpenAI pleit naar aanleiding van het incident voor strengere, gedeelde standaarden en betere protocollen voor externe evaluaties in de gehele AI-industrie.
Meer over cybersecurity
Over Witold Kepinski
