Dell Technologies World: focus op energie-efficiëntie en AI-Infrastructuur

Explosieve groei van AI en de "Token Factory"

David Holmes opende de sessie met de stelling dat de rekenkracht voor AI minstens 100 keer groter is dan verwacht en zal blijven groeien. Hij introduceerde het concept van "token factories", verwijzend naar de enorme hoeveelheden tokens die door generatieve AI-modellen worden gegenereerd. Verwacht wordt dat het aantal tokens zal stijgen van 25 biljoen in 2024 naar 35.000 biljoen in 2028, een toename met drie ordes van grootte in slechts drie jaar tijd. Dit zal leiden tot "honderden zeer capabele NPU's" in pc's, wat "RAG (Retrieval-Augmented Generation) aan de rand van het netwerk" mogelijk maakt en de pc een krachtigere en veiligere optie voor AI maakt.

Uitdagingen en kansen op het gebied van energie

Vanuit het oogpunt van de energie-industrie zijn de grootste uitdagingen het creëren van een stabiel regelgevingsklimaat voor miljardeninvesteringen en het versnellen van vergunningsprocessen voor de benodigde transmissie- en distributie-infrastructuur. Een belangrijke kans ligt in het beheren van de vraagzijde van de energievergelijking. Historisch gezien werd het elektriciteitsnet beheerd op basis van aanbod, maar met intermitterende opwekkingscapaciteit (zoals zonne- en windenergie) is het cruciaal om de belasting van het net te kunnen controleren. Dit betekent dat datacenters hun energieverbruik dynamisch moeten kunnen aanpassen aan de actuele netomstandigheden. Een aanpassing van slechts 5 of 10% in het energieverbruik van grote datacenters kan al een aanzienlijk effect hebben.

Dell's oplossingen

Dell Technologies heeft zelf ervaren hoe complex de AI-transformatie is. Bij aanvang waren er meer dan 900 ongecoördineerde AI-projecten binnen het bedrijf, met problemen op het gebied van datagovernance en een gebrek aan strategie. Dell heeft dit aangepakt door Jeff Boudreau als Chief AI Officer aan te stellen en een agile aanpak te implementeren met 90-dagen sprints, gericht op het snel leren, falen en aanpassen. Belangrijke lessen waren de noodzaak van schone, uniforme data en een duidelijke AI-datastrategie.

De implementatie van AI in de Dell Global Services-organisatie met de "Service Assistant" toont tastbare resultaten: servicemedewerkers kunnen meer cases sneller afsluiten met een hogere resolutiegraad, lagere dispatch rates en hogere klanttevredenheid. Deze oplossing draait on-premise op standaard Dell PowerEdge R740XD servers en toonde een ROI van minder dan zes maanden.

Samenwerking en de rol van partners

De noodzaak tot samenwerking is een cruciaal inzicht. Partnerschappen tussen regelgevers, beleidsmakers, nutsbedrijven, technologieleveranciers en datacenteroperators zijn essentieel om de snelle uitrol van AI wereldwijd te beheren. Dell heeft al lange tijd een geschiedenis van samenwerking met bedrijven als Schneider Electric en Vertiv op het gebied van stroomdistributie en koeling, en dit wordt alleen maar belangrijker.

Advies aan IT-besluitvormers

Holmes adviseert IT-besluitvormers het volgende:

1. Begin nu: "Als je nog niet bent begonnen, loop je achter".
2. Geen one-size-fits-all: Bestaande datacenters kunnen al worden ingezet; de nieuwste modellen zijn niet altijd vereist om te starten.
3. Dwingende ROI: Er is een overtuigende ROI te behalen met de juiste use-cases.
4. Snelheid is cruciaal: Concurrenten bewegen snel, en snelheid is essentieel.
5. On-premise inferencing is superieur: De TCO (Total Cost of Ownership) van on-premise inferencing blijft superieur en biedt controle over data.

De discussie raakte ook aan de uitdagingen rondom netcongestie en waterverbruik in datacenters. Een expert benadrukte dat moderne vloeistofkoelingstechnologieën gesloten systemen zijn die geen drinkwater verbruiken, maar koelvloeistoffen vergelijkbaar met radiateurvloeistof. Bedrijven moeten steeds meer rekening houden met waterbeschikbaarheid en duurzaamheidsbeleid bij de selectie en het ontwerp van locaties.

De kernboodschap is dat AI een existentiële bedreiging vormt voor bedrijven die niet reageren, en dat een holistische benadering van infrastructuur, energie en data cruciaal is voor toekomstig succes met een impact op duurzaamheid.