AI-e-mailbeheer bij de overheid technisch en juridisch haalbaar

Overheidsorganisaties liggen al langer onder een vergrootglas als het gaat om transparantie en informatiebeheer. Op grond van de Archiefwet en de Wet open overheid (Woo) zijn zij wettelijk verplicht om alle relevante informatie – waaronder e-mailverkeer dat van belang is voor de besluitvorming – duurzaam toegankelijk en vindbaar te houden. In de dagelijkse praktijk blijkt dit door de enorme volumes, historische achterstanden en de verwevenheid van zakelijke en privéberichten echter een nagenoeg onuitvoerbare opgave voor individuele medewerkers. De inzet van slimme technologie moet hier verandering in brengen. 

Multidisciplinaire aanpak en data van bewindspersonen

De pilot werd uitgevoerd door een multidisciplinair projectteam, waarin onder andere het ministerie van Sociale Zaken en Werkgelegenheid (SZW) en het Nationaal Archief intensief samenwerkten. Om de systemen te trainen, classificeerde het team handmatig 13.709 e-mails afkomstig uit de mailboxen van voormalige bewindspersonen en bestuursraadleden van SZW. 
De berichten werden onderverdeeld in vijf specifieke categorieën: functioneel, niet-functioneel, privé, personeelsvertrouwelijk en partijpolitiek. Dit kader is essentieel om aan de voorkant direct de schifting te kunnen maken tussen documenten die gearchiveerd moeten worden en documenten die vernietigd mogen worden. 

In de pilot zijn twee verschillende AI-modellen ontwikkeld en met elkaar vergeleken: 

Een Logistic Regression-model, gekenmerkt door een hoge mate van transparantie en uitlegbaarheid. 

Een geavanceerd PEFT-taalmodel op basis van BERTje, dat sterker is in het herkennen van contextuele verbanden in tekst. 

Verrassende resultaten: Data is koning

De resultaten uit de pilot leveren waardevolle lessen op voor de verdere digitalisering van de overheid. Opvallend is dat beide modellen exact dezelfde algemene nauwkeurigheid (accuracy) van 85% behaalden. Ze presteerden uitgesproken sterk op de grote categorieën functioneel (F1-score van 0,85) en niet-functioneel (F1-score van 0,88). 

Voor de kleinere categorieën (de zogenaamde '3P’s': privé, personeelsvertrouwelijk en partijpolitiek) lagen de prestaties echter significant lager. De reden hiervoor is niet de complexiteit van de software, maar de beperkte hoeveelheid beschikbare trainingsdata. Zo bevatte de trainingsset slechts 37 voorbeelden van partijpolitieke e-mails, wat simpelweg te weinig is voor een algoritme om betrouwbare patronen te herkennen. "Data is bepalender dan modelkeuze," concludeert het rapport dan ook nuchter. Investeren in meer en beter gelabelde data levert simpelweg meer kwaliteitswinst op dan het bouwen van een ingewikkelder model. 

Een andere opsteker is de kracht van eenvoudige filterregels (business rules). Het toepassen van basale logica op basis van afzenderpatronen en onderwerpregels bleek al in staat om gemiddeld een derde van alle niet-functionele e-mails (zoals nieuwsbrieven en automatische notificaties) te onderscheppen zónder dat daar een complex machine learning-model aan te pas hoefde te komen. Dit is een snel te realiseren winst die bovendien volledig transparant en uitlegbaar is richting toezichthouders. 

Privacy en de rol van Outlook

De juridische haalbaarheid was een van de belangrijkste pijlers van het onderzoek. Omdat e-mailclassificatie direct raakt aan de privacy en gegevensbescherming van ambtenaren en burgers, waren de vooraf gestelde beveiligingseisen streng. De pilot bewijst dat deze strenge maatregelen – zoals een volledig geïsoleerde ontwikkelomgeving – de operationele voortgang in de praktijk niet hoeven te belemmeren, mits ze tijdig worden ingebed in de planning. "Deze pilot maakt duidelijk dat automatische e-mailclassificatie kan bijdragen aan privacy- en gegevensbescherming, mits zorgvuldig ingericht," aldus de Chief Privacy Officer van het Ministerie van Algemene Zaken. 

Ook organisatorisch kwamen er duidelijke inzichten bovendrijven. De keuze om Microsoft Outlook als classificatieomgeving te gebruiken werkte kwalitatief uitstekend, omdat medewerkers direct toegang hadden tot bijlagen en de volledige e-mailcontext. Technisch maakte het de automatisering van de dataverwerkingsketen echter complex. Voor een definitieve productieomgeving zal kritisch moeten worden gekeken naar alternatieve interfaces die dezelfde kwaliteit bieden met minder technische complexiteit. 

De blik vooruit: Twee sporen naar opschaling

Nu het experiment succesvol is afgerond, adviseert het projectteam om het fundament direct te gaan versterken langs twee beleidssporen. 

Spoor 1 richt zich op de technische professionalisering, het vastleggen van de definitieve doelarchitectuur en het inrichten van de governance (wie is waar verantwoordelijk voor?). 

Spoor 2 richt zich op de verbreding naar andere ministeries en departementen, evenals de functionele doorontwikkeling van de software. 

De absolute randvoorwaarde voor deze opschaling is helder: er moet meer trainingsdata worden verzameld voor de kleinere categorieën en de rijkswijde handreiking "welke e-mail kan weg" moet grondig worden herzien. Daarmee ligt de route open om ambtenaren niet langer achteraf puur correctief te laten handelen, maar hen al aan de voorkant – op het moment van verzenden of ontvangen – slim te ondersteunen bij een transparante overheid.