Gartner: AI Governance vraagt om stevig fundament voor vertrouwen en innovatie

De presentatie richtte zich op drie kernonderwerpen: een gemeenschappelijke definitie van governance, de organisatie van AI Governance, en hoe snel impact te realiseren.

Wat is Governance?

Sicular definieerde governance als "het proces van het creëren van beleid, het verfijnen van beslissingsrechten en het waarborgen van organisatorische verantwoordelijkheid voor zowel waarde als risico." Ze benadrukte dat governance zowel waardecreatie als risicomanagement omvat. De drie fundamentele elementen van governance zijn: het governance operationeel model (het focus van de keynote), controles (de acties om problemen te voorkomen en richtlijnen te geven), en oversight-systemen (technologieën om beleid en controles te monitoren).

Het Governance Operationeel Model voor AI

Volgens Sicular verschilt het governance operationeel model voor AI niet fundamenteel van andere governance-modellen. Het is gebaseerd op typische governancepijlers, maar wordt gedreven door verantwoordelijke AI-principes. Essentiële AI-specifieke overwegingen zijn vertrouwen, transparantie en diversiteit. Vertrouwen is cruciaal voor de acceptatie van AI. Transparantie, zoals de case van Goldman Sachs illustreerde, helpt om beslissingen en processen te verantwoorden. Diversiteit is van belang in de teams die AI ontwikkelen, in de data die wordt gebruikt om AI te trainen (om bias te voorkomen), en in de beoordeling van de impact van AI.

De Maturiteit van AI Governance

Sicular presenteerde het Gartner-maturiteitsmodel voor AI Governance. De eerste fase is het selecteren van AI-use cases (Gartner adviseert om te beginnen met 3 tot 6 gerelateerde use cases). Dit maakt het mogelijk om learnings te hergebruiken en risico's te spreiden. In de beginfase ligt de focus op het werkend krijgen van governance en het bouwen van basisstructuren, met duidelijke entry points voor risicomanagement, compliance, privacy, etc. Naarmate de organisatie meer ervaren wordt, verschuift de focus naar het bewijzen van businesswaarde en het definiëren van optimalisatiedoelen. Bij opschaling wordt governance onvermijdelijk en is het belangrijk om te focussen op wat relevant is voor de huidige use cases in plaats van theoretische problemen op te lossen. Sicular benadrukte dat standaarden voor AI nog in ontwikkeling zijn (ze noemde het recente Single Protocol Model Context Protocol - SMPC - als voorbeeld voor interoperabiliteit van Large Language Models), en dat het raadzaam is om te beginnen met de huidige portfolio.

Organisatie van AI Governance

Het meest gangbare model voor AI Governance is een structuur met twee niveaus: een AI Governance Council die strategische beslissingen neemt, en een AI Governance Working Group die het operationele werk verricht (bijvoorbeeld het uitwerken van beleid). Daarnaast ziet Gartner de rol van AI Stewards die het beleid binnen hun teams handhaven, en optioneel een Technical Review Committee (vooral in technologie-gedreven organisaties). Sicular adviseerde om bestaande governance-structuren te spiegelen, omdat deze al verankerd zijn in de organisatie. Andere organisatiemodellen omvatten Centers of Excellence met governancefuncties, initiatieven vanuit Risk Management of Responsible AI-teams, en in de gezondheidszorg, "AI Empathy Labs" om ontwikkelaars het perspectief van de gebruikers te laten ervaren. Er is een trend naar centralisatie van AI-initiatieven om consistentie en controle te waarborgen. Diversiteit binnen de teams is cruciaal om verschillende perspectieven en vragen in te brengen.

Wie is verantwoordelijk voor AI Governance?

Uit Gartner-onderzoek blijkt dat de primaire eigenaar van AI Governance vaak de CIO of CTO is, en in meer geavanceerde organisaties een speciale AI-leider. Sicular speculeerde dat dit komt doordat AI Governance als een complex en potentieel risicovol domein wordt gezien. Ze benadrukte dat AI probabilistisch is, wat betekent dat er altijd een kans op uitzonderingen is. Daarom moeten verschillende stakeholders (juridisch, compliance, security, audit, procurement, etc.) betrokken zijn en de juiste vragen stellen over mogelijke risico's en ethische implicaties. Communicatie tussen deze groepen is essentieel om een gemeenschappelijk begrip van AI Governance te creëren.

Snel impact realiseren met AI Governance

De belangrijkste activiteit om direct impact te genereren is het bepalen van de criticaliteit van de AI-use cases. Sicular adviseerde om te beginnen met use cases met een laag risico en een lage criticaliteit. Dit verkleint de scope van de initiële AI Governance-inspanningen. Security is vaak een belangrijk aandachtspunt, omdat de securityvereisten van AI-providers niet altijd aansluiten op de behoeften van de organisatie. Andere criteria voor criticaliteit zijn de gevoeligheid van de data (privacygevoelige data is nooit laag-kritisch) en de impact van de use case (intern versus extern). Het naleven van regelgeving, zoals de AI Act van de Europese Unie, is eveneens een prioriteit. Het catalogiseren van use cases en het toewijzen van risiconiveaus is een belangrijke eerste stap.

Vertrouwen, Transparantie en Diversiteit als fundament

Sicular benadrukte dat een "trust-first" benadering essentieel is voor AI Governance. Organisaties moeten transparant zijn over hun AI-implementaties en diversiteit in hun teams en data waarborgen. Ze presenteerde een eenvoudige matrix met de pijlers Trust, Transparantie en Diversiteit verticaal, en verschillende stakeholders horizontaal, om te helpen bepalen welke acties nodig zijn voor elke groep. Documentatie van processen en beslissingen is cruciaal, zeker in de afwezigheid van volledig gedefinieerde regelgeving. Diversiteit in data (representativiteit en context) en technieken (uitlegbaarheid versus performance) is eveneens van groot belang. Proactieve detectie van inherente risico's in data, mensen en AI-technieken moet de governance-aanpak sturen.

Aanbevelingen voor AI Governance:

• Blijf doelgericht: Focus uw governance-inspanningen op uw huidige portfolio van use cases.
• Stem af op bestaande frameworks: Integreer uw AI Governance operationeel model met bestaande governance-structuren.
• Definieer criticaliteitsniveaus: Prioriteer use cases met een lage criticaliteit om mee te beginnen.
• Betrek diverse stakeholders: Zorg voor verschillende perspectieven in uw governance-proces.
• Maak governance niet saai: Zie het als een waardevolle investering in de toekomst van uw organisatie.

Svetlana Sicular sloot haar keynote af met de boodschap dat een doordachte en pragmatische aanpak van AI Governance essentieel is om het potentieel van AI te benutten en tegelijkertijd risico's te beheersen en vertrouwen op te bouwen.

Door: Witold Kepinski