AMD en Dell Technologies: AI gaat niet altijd om dure GPU-clusters, maar om bewuste infrastructuurkeuzes

In hun gesprekken met overheidsorganisaties zien zij twee thema’s steeds terugkomen. De eerste is digitale soevereiniteit: de wens om data en verwerking dichter bij de eigen organisatie te houden, mede door de geopolitieke onzekerheid van dit moment. De tweede is AI: hoe pas je die technologie toe zonder gevoelige informatie onnodig naar externe platformen of cloudomgevingen te sturen?

De combinatie van AI en lokale verwerking maakt volgens AMD zichtbaar dat veel organisaties opnieuw moeten nadenken over hun infrastructuur. Kypriotakis: ”De gevoeligheid rond dataopslag en -verwerking is snel toegenomen. Waar cloudgebruik lang vanzelfsprekender werd, groeit nu bij veel overheidsorganisaties het besef dat niet alle processen of datasets zomaar extern verwerkt zouden moeten worden. Voor standaardvragen of generieke zoekopdrachten is een publieke AI-dienst misschien nog prima inzetbaar, maar zodra het gaat om interne processen, persoonsgegevens of gevoelige overheidsdata, verandert dat beeld.”

“Zodra het om je eigen bedrijfsprocessen gaat wil je die data gewoon niet zomaar ergens neerzetten. Dan gaat het om een combinatie van privacy, controle en bestuurlijke verantwoordelijkheid. Overheidsorganisaties willen weten wie meekijkt, waar de verwerking plaatsvindt en of zij zelf kunnen blijven bepalen wat er met de gegevens gebeurt. Juist daarom groeit de vraag naar lokale oplossingen, vaak in de vorm van moderne serverinfrastructuur in de eigen omgeving of in een soevereine cloud.”

Nieuwenhuis voegt daaraan toe: “Niet iedereen kan die stap op eigen kracht zetten. Veel publieke organisaties zijn te klein om alle investeringen alleen te dragen of beschikken niet over alle benodigde kennis. Dat leidt ook tot meer samenwerking tussen overheden om voorzieningen te delen, kennis te bundelen en meer lokale controle te organiseren.”

Samenwerking tussen AMD en Dell Technologies

In dit speelveld positioneert AMD zich samen met Dell Technologies. Volgens Nieuwenhuis ligt de kracht van die samenwerking niet alleen in hardware, maar ook in de manier waarop systemen worden opgebouwd. Hij benadrukt dat beide partijen uitgaan van open standaarden en open systemen, iets wat volgens hem goed aansluit bij de publieke sector. Overheden investeren met belastinggeld en willen voorkomen dat een infrastructuurkeuze over enkele jaren leidt tot een kostbare vervangingsoperatie.

“Met de modulaire benadering van Dell-servers in combinatie met AMD-processors kunnen organisaties stap voor stap groeien. Dell's expertise ligt in het valideren en optimaliseren van de volledige stack, van de server tot koeling en beheer. Hierdoor krijgt de klant niet alleen krachtige componenten, maar een geïntegreerd systeem dat direct presteert. Dat maakt de investering beter houdbaar richting de toekomst, zeker in een markt waar AI, dataverwerking en infrastructuurbehoefte snel veranderen.”

Niet elke AI-omgeving vraagt om een GPU-cluster

De inzet van AI hoeft volgens Kypriotakis lang niet tot inzetten van zware en dure GPU-omgevingen te leiden. “Dat is een van de grootste misverstanden die we tegenkomen: zodra organisaties iets met AI willen doen, is de reflex vaak dat er een GPU-cluster nodig is. Maar in veel overheidsomgevingen is dat helemaal niet nodig.”

GPU’s worden weliswaar sterk geassocieerd met AI, maar dat gaat voorbij aan de aard van veel overheidsworkloads. “Het trainen van grote modellen is één ding. Het toepassen van bestaande modellen op een eigen dataset is iets anders. En juist in dat tweede scenario kan een CPU-oplossing veel efficiënter zijn.”

“Het taalmodel hoef je niet meer te ontwikkelen,” zegt Kypriotakis. “Het enige wat je moet doen is die modellen toepassen.” Als een model al beschikbaar is en alleen nog inference of documentverwerking moet uitvoeren op lokale data, dan kan dat prima op CPU’s draaien – zeker als die CPU’s veel cores bevatten en slim worden ingezet. Voor zwaardere trainingsscenario’s kunnen CPU- en GPU-oplossingen elkaar bovendien aanvullen. Zeker als die CPU’s veel cores bevatten en slim worden ingezet. Het voordeel is minder dure hardware, lager energieverbruik en vaak nauwelijks merkbaar prestatieverlies voor de gebruiker.

UWV

Het UWV is daarvan een concreet voorbeeld. Daar werd aanvankelijk ook gekeken naar een GPU-aanpak, maar in de praktijk bleek de workload daar niet om te vragen. AMD bood een GPU-cluster op afstand aan om te testen, zodat men goed kon vergelijken wat nodig was. Uiteindelijk viel de keuze niet op GPU, maar op CPU.

Nieuwenhuis vult aan dat daarbij niet alleen de aanschafprijs telt. “Ook beheer, koeling en energieverbruik wegen zwaar mee. De energiekosten zijn enorm bij een GPU-cluster. Het kostenverschil gaat dus verder dan alleen de hardwareprijs. Voor overheidsorganisaties die op schaal willen werken en tegelijk doelmatig met publieke middelen moeten omgaan, kan dat een doorslaggevende factor zijn.”

Duurzaamheid

Daarmee komt een tweede thema in beeld dat volgens AMD en Dell nog altijd nadrukkelijk meespeelt in overheidsuitvragen: duurzaamheid. “Duurzaamheidswinst zit vaak niet alleen in het kopen van nieuwe hardware, maar in slim consolideren en efficiënter inzetten van capaciteit. Door de hoge core density van moderne CPU’s kunnen meerdere oudere systemen worden samengebracht op veel minder nieuwe machines. Er zijn consolidatiescenario’s waarbij zeven oudere systemen door één moderner Dell/AMD-systeem kunnen worden vervangen. Dat levert niet alleen winst op in energieverbruik, maar ook in licentiekosten, koeling, beheer en ruimtegebruik.”

AI-infrastructuur

Vanuit diezelfde gedachte zegt Nieuwenhuis dat veel organisaties de infrastructuurkant van AI nog onderschatten. “In experimenten lijkt het vaak eenvoudig: een proof of concept draait op beperkte middelen en laat al iets veelbelovends zien. Maar zodra een organisatie AI wil koppelen aan bestaande datasets, meerdere processen tegelijk wil ondersteunen of grotere hoeveelheden documenten wil analyseren, verandert het speelveld. Dan is een robuuste, stabiele infrastructuur nodig.”

Want naast prestaties en energie is ook hardwarematige beveiliging belangrijk. Kypriotakis: “Juist voor de overheid is dat een belangrijk punt, omdat privacy en gegevensscheiding niet pas op softwarelaag moeten beginnen. AMD heeft al meerdere generaties beveiligingsmechanismen in zijn CPU’s ingebouwd, waaronder encryptie van geheugen en scheiding tussen componenten zoals hypervisors, BIOS en andere lagen. Al het geheugen wordt volledig encrypted.”

Nieuwenhuis wijst daarnaast op een aanvullend mechanisme bij Dell: een strakke controle op de integriteit van de server in de logistieke keten. “Daarmee wordt gecontroleerd of hardware onderweg niet is aangepast. Als dat wel zo is, start een systeem niet op. Voor overheidsorganisaties die veel belang hechten aan controle over de volledige keten is dat een extra beveiligingslaag die steeds belangrijker wordt. In combinatie met de securityfuncties in AMD-processors ontstaat zo een infrastructuurbasis die beter past bij de hoge eisen rond AI, privacy en digitale soevereiniteit in de publieke sector.”