Gartner: Foutieve AI-configuraties kunnen kritieke infrastructuur platleggen

"De volgende grote infrastructuurstoring hoeft niet veroorzaakt te worden door hackers of natuurrampen, maar kan het gevolg zijn van een goedbedoelende engineer, een foutief update-script of een verkeerd geplaatste komma", aldus Wam Voster, vicepresident en analist bij Gartner. "Een veilige ‘noodstop’ of overschrijvingsmodus, alleen toegankelijk voor geautoriseerd personeel, is essentieel om onbedoelde uitschakelingen door AI-fouten te voorkomen."

Fysieke schade of grootschalige verstoringen

Fout geconfigureerde AI kan zelfstandig vitale diensten uitschakelen, sensorgegevens verkeerd interpreteren of onveilige acties triggeren. Dit kan leiden tot fysieke schade of grootschalige verstoringen, met directe risico’s voor openbare veiligheid en economische stabiliteit. Denk aan systemen zoals energienetwerken of productiefaciliteiten, waar AI realtime balans zoekt tussen vraag en aanbod. Een verkeerd afgesteld voorspellingsmodel zou bijvoorbeeld vraag kunnen aanzien voor instabiliteit, met ongeplande netwerkuitschakelingen of stroomonderbrekingen over hele regio’s als gevolg.

"Moderne AI-modellen zijn zo complex dat ze vaak ‘black boxes’ zijn", benadrukt Voster. "Zelfs ontwikkelaars kunnen niet altijd voorspellen hoe kleine aanpassingen het gedrag van het model beïnvloeden. Hoe ondoorzichtiger deze systemen worden, hoe groter het risico op foutieve configuraties – en hoe belangrijker het is dat mensen kunnen ingrijpen wanneer nodig."

Aanbevelingen voor risicobeperking

Gartner adviseert chief information security officers (CISOs) om:

• Veilige overschrijvingsmodi in te bouwen: elk kritiek CPS moet een beveiligde noodstop of handmatige bedieningsoptie hebben, uitsluitend toegankelijk voor bevoegden.
• Digitale tweelingen te ontwikkelen: een exacte digitale kopie van de systemen maakt realistische tests van updates en configuratiewijzigingen mogelijk voordat deze live gaan.
• Realtime monitoring af te dwingen: wijzigingen in AI-systemen moeten continu worden gecontroleerd, met mogelijkheden om terug te draaien. Daarnaast pleit Gartner voor nationale AI-incidentteams die snel kunnen reageren op calamiteiten.

De volledige analyse is te vinden in het rapport Predicts 2026: Emergent Critical Risks of AI in CPS Security. Organisaties die hun infrastructuur willen moderniseren, kunnen het gratis Gartner-roadmaprapport Modern Infrastructure: Built for Tomorrow’s Business Demands raadplegen.

Gartner Security & Risk Management Summit

Gartner-analisten delen de laatrste inzichten in security en risk management met leiders op de Gartner Security & Risk Management Summits, die plaatsvinden op 9 en 10 maart in Mumbai, 16 en 17 maart in Sydney, van 1 tot en met 3 juni in National Harbor, MD, van 22 tot en met 24 juli in Tokyo, op 4 en 5 augustus Sao Paulo en van 22 tot en met 24 september in London.