Gartner: GenAI-toepassingen gaan tot meer beveiligingsincidenten leiden
De groeiende integratie van AI-agents en technologieën zoals Model Context Protocol (MCP) brengt nieuwe aanvalsroutes en onvolwassen beveiligingspraktijken met zich mee, wat de risico’s aanzienlijk vergroot. Een kwart van alle generatieve AI-toepassingen (GenAI) binnen bedrijven is tegen 2028 betrokken bij minstens vijf kleine beveiligingsincidenten per jaar, waarschuwt marktonderzoeker Gartner. Vorig jaar lag dit percentage nog 9%.
Aaron Lord, senior directeur analist bij Gartner, benadrukt dat MCP in eerste instantie is ontworpen voor interoperabiliteit, gebruiksgemak en flexibiliteit, waardoor beveiligingsfouten kunnen ontstaan zonder voortdurend toezicht. "“Hierdoor zal het aantal kleine beveiligingsincidenten in GenAI-toepassingen sneller toenemen. We verwachten dat 15% van alle bedrijfs-GenAI-toepassingen tegen 2029 minstens één groot beveiligingsincident per jaar zal meemaken, vergeleken met 3% in 2025", aldus Lord.
Van datalekken tot kwetsbaarheden in third-party componenten
Naarmate de interesse in frameworks zoals MCP groeit, moeten software-engineeringleiders zich voorbereiden op de beveiligingsuitdagingen die hiermee gepaard gaan. Deze variëren van datalekken tot kwetsbaarheden in veelgebruikte componenten van derden. Om deze risico’s te beperken, is het essentieel om strenge beveiligingsprocessen in te voeren, laagrisico-toepassingen te prioriteren, bekende dreigingspatronen te mitigeren en domeinexperts te betrekken bij het opstellen van richtlijnen die AI-agents zowel krachtig als veilig houden.
MCP is ontworpen om interoperabiliteit en ontwikkelsnelheid te optimaliseren, niet om standaard beveiliging af te dwingen. Dit betekent dat fouten kunnen optreden tijdens normaal gebruik, met name wanneer AI-agents toegang hebben tot gevoelige gegevens, onbetrouwbare content verwerken of extern communiceren binnen dezelfde workflow. Software-engineeringleiders moeten dergelijke toepassingen beschouwen als 'no-go zones' vanwege het verhoogde risico op datalekken.
Formele beveiligingsbeoordelingen opstellen
Lord adviseert software-engineeringleiders om samen te werken met data-, beveiligings- en infrastructuurteams om formele beveiligingsbeoordelingen voor MCP-toepassingen op te stellen. Hierbij moeten laagrisico-patronen worden geprioriteerd en hoogrisico-combinaties expliciet worden uitgesloten. Daarnaast is het belangrijk om sterke authenticatie- en autorisatiemethoden te implementeren die specifiek zijn afgestemd op AI-agents, in plaats van deze over te nemen van menselijke gebruikersrollen. Het toepassen van bekende mitigatiestrategieën, zoals bescherming tegen content-injecties en streng toezicht op MCP-componenten van derden, helpt de meest voorkomende kwetsbaarheden te dichten voordat deze kunnen worden misbruikt.
Succesvolle, proactieve beveiligingsmaatregelen voor MCP vereisen kennis van antipatronen die tot kwetsbaarheden kunnen leiden. Software-engineeringleiders moeten zich daarbij volgens Gartner richten op het mitigeren van bekende dreigingspatronen, zoals content-injectieaanvallen, supply chain-bedreigingen, het onbedoeld vrijgeven van gevoelige gegevens of het escaleren van privileges wanneer AI-agents proberen te helpen maar een fout maken.
'Werk samen met domeinexperts'
Om deze uitdagingen op te lossen, adviseert Gartner dat software-engineeringleiders samenwerken met domeinexperts om veilige standaardinteracties voor AI-agents te garanderen. Domeinexperts moeten vooraf richtlijnen opstellen voordat MCP-clients toegang krijgen tot hun gegevens en bronnen. Deze domeinen moeten eigenaar zijn van MCP-servers en de richtlijnen voor het gebruik van AI-agents bepalen.
Meer informatie is voor klanten van Gartner beschikbaar in 'Best Practices to Counter MCP Security Risks'.