Autoriteit Persoonsgegevens waarschuwt voor risico's AI-emotieherkenning

Organisaties passen AI-gebaseerde emotieherkenning steeds vaker toe, bijvoorbeeld in klantenservices om "emotionele toestand" te analyseren, via smartwatches om stress te meten, of in chatbots voor empathischere reacties. Het doel is vaak het verbeteren van producten, diensten of klantcontact, maar toepassingen duiken ook op in de openbare ruimte en de gezondheidszorg.

Twijfels over betrouwbaarheid en transparantie

De AP heeft de inzet van emotieherkenning in klantenservices, wearables en taalmodellen onderzocht. Hieruit blijkt dat de werking van dergelijke AI-systemen niet altijd transparant is en dat de betrouwbaarheid van de uitkomsten vaak onduidelijk is. Bovendien zijn gebruikers zich niet altijd bewust van het feit dat emotieherkenning wordt toegepast, noch op basis van welke data dit gebeurt.

De AP concludeert dat organisaties "zeer voorzichtig" moeten omgaan met deze toepassingen. Zonder adequate voorzorgsmaatregelen bestaat het risico op discriminatie en een inperking van de menselijke autonomie en waardigheid. "Emoties raken sterk aan je menselijke autonomie. Als je emoties wilt herkennen, moet dat dan ook zeer zorgvuldig en op basis van betrouwbare technologie gebeuren. Daar is nu vaak geen sprake van," aldus Aleid Wolfsen, voorzitter van de AP.

Omstreden aannames en ethische vraagstukken

De kritiek van de AP richt zich met name op de fundamentele aannames waarop veel AI-systemen voor emotieherkenning zijn gebouwd. Deze systemen vertalen biometrische kenmerken, zoals stem, gezichtsuitdrukking of hartritme, vaak ongenuanceerd naar emoties. Wolfsen benadrukt dat het idee dat emoties universeel op dezelfde manier worden ervaren en meetbaar zijn aan de hand van biometrie, onjuist is. Er bestaan grote culturele en individuele verschillen in de manier waarop mensen emoties ervaren en uiten. Een hoge hartslag is bijvoorbeeld niet altijd een teken van angst, noch is een luide stem altijd een uiting van woede.

De inzet van AI-systemen voor emotieherkenning in het onderwijs en op de werkvloer is overigens al verboden onder de Europese AI-verordening. Hoewel sommige toepassingen reeds onder de privacywetgeving, zoals de Algemene Verordening Gegevensbescherming (AVG), vallen, stelt de AP dat er een breder ethisch vraagstuk speelt. "Het is een ethisch vraagstuk of je als maatschappij het herkennen van emoties met AI toelaatbaar vindt," zegt Wolfsen. Hij pleit voor een maatschappelijke en democratische afweging over het gebruik van deze systemen, in welke vorm en voor welke doeleinden.