Gartner Top 5 risico analyse van Copilot: Van toxic content tot datalekken
Gebruikers zijn op vrijdagmiddag mogelijk te moe of te laks om de antwoorden van AI-assistent Copilot te controleren op fouten of aanstootgevende inhoud. Dat suggereerde Dennis Xu, vicepresident bij Gartner, met een knipoog tijdens de Security & Risk Management Summit in Sydney.
Hoewel de opmerking over het vrijdagmiddagverbod grappig bedoeld was, is de onderliggende boodschap volgens Xu bittere ernst, zo meldt The Register. Microsofts AI-hulpje kan namelijk 'toxische' of cultureel onacceptabele resultaten genereren die feitelijk wel kloppen, maar ongepast zijn op de werkvloer. Juist aan het einde van de werkweek, wanneer de focus verslapt, loert het gevaar dat werknemers de output klakkeloos kopiëren zonder de noodzakelijke menselijke check.
De schaduwkant van efficiëntie
Xu waarschuwde tijdens zijn presentatie voor de vijf grootste beveiligingsrisico's van Copilot. Het grootste probleem is volgens hem niet nieuw, maar wordt door AI wel enorm uitvergroot: 'over-sharing'. Copilot heeft toegang tot alle data in SharePoint-sites waarvoor een gebruiker (vaak per ongeluk) rechten heeft. Hierdoor kan een simpele zoekopdracht naar "organisatiewijzigingen" plotseling vertrouwelijke documenten boven water halen die nooit voor die werknemer bedoeld waren.
Daarnaast wees Xu op risico's zoals prompt injection en het onbedoeld lekken van gevoelige data via gekoppelde externe apps. Het advies aan beheerders: vertrouw niet blind op de filters van Microsoft, maar investeer in training en monitoring. En die filters instellen? Dat kan volgens de analist misschien maar het beste op de vrijdagmorgen gebeuren.