Groot datalekrisico in Microsoft 365 Copilot opgelost

Deze kwetsbaarheid stelde een kwaadwillende actor in staat om data te extraheren waartoe deze normaal gesproken geen toegang had. Dit fenomeen, bekend als arbitrary data exfiltration, vormde een ernstige bedreiging voor de vertrouwelijkheid en beveiliging van gegevens van organisaties die Copilot gebruiken.

De kwaadaardige kracht van een diagram

Het lek bevond zich in de manier waarop Copilot de Mermaid-opmaaktaal verwerkte. Mermaid wordt gebruikt om snel flowcharts, sequenties en andere diagrammen te genereren met behulp van eenvoudige tekstuele prompts. Logue ontdekte dat door het injecteren van specifieke commando's in de prompt voor een diagram, hij interne API-verzoeken kon laten uitvoeren door Copilot.

Normaal gesproken wordt de toegang tot data in Microsoft 365 strikt gereguleerd door het machtigingsmodel van de gebruiker. De AI-assistent is ontworpen om alleen die informatie te tonen waartoe de gebruiker al geautoriseerd is. Echter, door misbruik te maken van de Mermaid-functionaliteit, kon de onderzoeker de achterliggende Copilot-service misleiden om data op te halen buiten de scope van de gebruiker.

Logue demonstreerde dat het mogelijk was om via een zorgvuldig geconstrueerde Mermaid-prompt gevoelige informatie, zoals documenttitels, metadata en zelfs delen van de inhoud, te smokkelen naar een extern gecontroleerde server. Dit gebeurde door de data te coderen en deze te verwerken als een onderdeel van de grafiek die door Copilot werd gegenereerd, waardoor de beveiligingsmechanismen werden omzeild.

Snel herstel door Microsoft

Nadat Adam Logue zijn bevindingen rapporteerde via het responsible disclosure-programma van Microsoft, reageerde de techgigant snel om de kwetsbaarheid te verhelpen. De patch is inmiddels wereldwijd uitgerold en verhelpt het probleem door de manier waarop Copilot omgaat met externe verzoeken tijdens het genereren van Mermaid-diagrammen strikt te valideren en te beperken.

Het incident benadrukt de inherente beveiligingscomplexiteit van grote taalmodellen (LLM's) en AI-assistenten die integreren met bedrijfskritieke systemen zoals Microsoft 365. Zelfs kleine, schijnbaar onbeduidende functies kunnen onbedoeld de deur openzetten voor grootschalige datalekken.

Beveiligingsexperts wijzen erop dat dit soort aanvallen, bekend als Prompt Injection of in dit geval een vorm van Cross-Prompt Injection Attack (XPIA), een van de grootste uitdagingen vormen voor de uitrol van generatieve AI in bedrijfskaders. Organisaties worden aangemoedigd om alert te blijven en hun governance en toegangsrechten rondom AI-tools te versterken. Dit incident dient als een belangrijke herinnering dat, ondanks de ingebouwde beveiligingsmaatregelen van Microsoft, continue waakzaamheid en onafhankelijke controle essentieel blijven om de integriteit van gevoelige bedrijfsdata te waarborgen.