Gartner: een derde organisaties gebruikt AI-beveiligingstools

Het Gartner Peer Community-onderzoek werd van 1 tot 7 april uitgevoerd onder 150 IT- en informatiebeveiligingsleiders bij organisaties waar GenAI of fundamentele modellen worden gebruikt, in plannen zijn voor gebruik of worden onderzocht. 26 procent van de respondenten gaf aan dat ze momenteel privacy-bevorderende technologieën (PET's), ModelOps (25%) of modelmonitoring (24%) implementeren of gebruiken.

Figuur 1. Organisaties die tools gebruiken of van plan zijn te gebruiken om de risico’s gerelateerd aan generatieve AI aan te pakken (percentage respondenten). Bron: Gartner Peer Community (september 2023).

Bedrijfsbrede strategie

“Leiders op het gebied van IT en beveiliging en risicobeheer moeten, naast het implementeren van beveiligingstools, overwegen om een bedrijfsbrede strategie voor AI TRiSM (vertrouwen, risico en beveiligingsbeheer) te ondersteunen”, stelt Avivah Litan, Distinguished VP Analyst bij Gartner. “AI TRiSM beheert gegevens- en processtromen tussen gebruikers en bedrijven die generatieve AI-basismodellen hosten. Er moet een voortdurende inspanning zijn, en geen eenmalige oefening om een organisatie voortdurend te beschermen.”

GenAI-beveiliging

Terwijl 93 procent van de ondervraagde IT- en beveiligingsleiders aangaf dat ze op zijn minst enigszins betrokken zijn bij de GenAI-beveiligings- en risicobeheerinspanningen van hun organisatie, stelt slechts 24 procent dat ze deze verantwoordelijkheid dragen.

Van de respondenten die niet de verantwoordelijkheid dragen voor GenAI-beveiliging en/of risicobeheer, geeft 44 procent aan dat de uiteindelijke verantwoordelijkheid voor GenAI-beveiliging bij IT lag. Voor 20 procent van de respondenten waren de governance-, risk- en compliance-afdelingen van hun organisatie verantwoordelijk.

Top-of-mind-risico's

De risico’s verbonden aan GenAI zijn aanzienlijk, continu en zullen voortdurend evolueren, benadrukt Gartner. Respondenten gaven aan dat ongewenste resultaten en onveilige code tot de belangrijkste risico's behoren bij het gebruik van GenAI:

• 57% van de respondenten maakt zich zorgen over gelekte geheimen in door AI gegenereerde code.
• 58% van de respondenten maakt zich zorgen over onjuiste of bevooroordeelde resultaten.

“Organisaties die de AI-risico’s niet beheersen, zullen zien dat hun modellen niet presteren zoals bedoeld en in het ergste geval menselijke of materiële schade kunnen veroorzaken”, vervolgt Litan. “Dit zal resulteren in veiligheidsproblemen, financiële en reputatieschade en schade aan individuen als gevolg van onjuiste, gemanipuleerde, onethische of bevooroordeelde uitkomsten. Slechte prestaties van AI kunnen er ook voor zorgen dat organisaties slechte zakelijke beslissingen nemen.”