Amazon en Microsoft jagen op de hoge chipmarges van NVIDIA

Microsoft, Meta, Oracle, CoreWeave en xAI draaien vrijwel volledig op chips van NVIDIA. Uit een analyse van The Economist op basis van cijfers van Epoch AI blijkt dat Amazon al bijna de helft van zijn rekenkracht uit eigen chips haalt. Google gaat nog veel verder: het grootste deel van zijn AI-rekenkracht komt uit chips die het zelf heeft ontworpen.Die verschillen worden steeds belangrijker. De snelle groei van AI vraagt om enorme hoeveelheden rekenkracht. Daarmee groeit ook het belang van de vraag welk bedrijf uiteindelijk het meeste geld aan die rekenkracht verdient.

Van training naar inference

De eerste fase van de AI-golf draaide vooral om het trainen van steeds grotere modellen. Daarvoor zijn de GPU’s van NVIDIA zeer geschikt. Ze zijn krachtig, flexibel en worden ondersteund door CUDA, het softwareplatform waarop veel AI-ontwikkelaars hun toepassingen bouwen. Na het trainen worden modellen gebruikt, dat heet inference. Iedere vraag aan een chatbot en iedere taak die een AI-model uitvoert, vraagt om zulke berekeningen.

Inference wordt steeds belangrijker. Vooral AI-agents kunnen de vraag sterk verhogen. Deze systemen voeren zelfstandig meerdere stappen uit, gebruiken hulpmiddelen en controleren hun eigen resultaten. Daardoor verandert ook de rekensom voor de chips. Bij het trainen van de nieuwste modellen zijn maximale prestaties en flexibiliteit belangrijk. Bij miljarden dagelijkse AI-taken gaat de prijs per berekening steeds zwaarder wegen. Deze ontwikkeling biedt kansen voor zogenaamde ASIC’s: chips die zijn ontworpen voor specifieke taken.

Amazon haalt chipmarges naar binnen

Amazon zag deze ontwikkeling vroeg aankomen. Het kocht in 2015 chipontwerper Annapurna Labs voor naar schatting 350 miljoen dollar. AWS ontwikkelt inmiddels verschillende eigen chips, waaronder Graviton-processoren en Trainium-chips voor AI. Volgens Amazon levert de verkoop en het gebruik van eigen chips inmiddels op jaarbasis meer dan $25 miljard aan omzet op. Die omzet groeit op dit moment met meer dan 100% op jaarbasis.

De reden om zelf chips te ontwikkelen is eenvoudig. Voor iedere NVIDIA-GPU die Amazon koopt, betaalt het mee aan de hoge winstmarges van NVIDIA. Met eigen chips kan Amazon een groter deel van die economische waarde binnen clouddivisie AWS houden. De schaal van AWS helpt daarbij. Het ontwerpen van een geavanceerde chip kost miljarden, maar Amazon kan die kosten verdelen over enorme hoeveelheden rekenwerk van zijn eigen diensten en zijn cloudklanten.

Dat betekent niet dat NVIDIA uit AWS verdwijnt. Veel klanten gebruiken software die voor NVIDIA is ontwikkeld en willen toegang houden tot de snelste GPU’s. Waarschijnlijk ontstaat daarom een mix: eigen chips voor grote, voorspelbare taken en NVIDIA voor toepassingen waarbij flexibiliteit en maximale prestaties belangrijk zijn. Google laat al zien dat dit model kan werken. Het bedrijf ontwikkelt al ongeveer tien jaar zijn eigen TPU-chips en gebruikt die op grote schaal in zijn datacenters.

Microsoft begint aan een inhaalrace

Microsoft staat nog aan het begin van die ontwikkeling. Dat is ook zichtbaar in de grafiek van The Economist: vrijwel alle geschatte AI-rekenkracht van Microsoft over 2022 tot en met 2025 kwam van NVIDIA.

Met Maia probeert Microsoft daar verandering in te brengen. De Maia 200 is speciaal ontworpen voor inference en wordt onder meer gebruikt voor Microsoft Foundry, Microsoft 365 Copilot en modellen van OpenAI. Volgens Microsoft levert de chip 30 procent betere prestaties per dollar dan de hardware die het bedrijf hiervoor gebruikte. De volgende stap is Maia 300. Microsoft wil daarmee een groter deel van zijn AI-rekenwerk op eigen chips uitvoeren.

Microsoft loopt achter op Google en Amazon, maar heeft één belangrijk voordeel: schaal. Azure, Copilot en andere AI-diensten zorgen samen voor enorme hoeveelheden rekenwerk. Als Maia goed genoeg presteert, kan Microsoft zijn eigen chips daardoor snel op grote schaal inzetten.

NVIDIA heeft dit spel vaker gespeeld

De opkomst van eigen chips vormt een duidelijke uitdaging voor NVIDIA. Het marktaandeel van het bedrijf in AI-accelerators kan dalen als Google, Amazon en Microsoft meer eigen chips gaan gebruiken.

NVIDIA heeft echter een belangrijke kracht die in deze discussie gemakkelijk wordt onderschat: de snelheid waarmee het nieuwe technologie naar de markt brengt. Het bedrijf heeft zijn producttempo de afgelopen jaren verder opgevoerd. Nieuwe datacenterarchitecturen verschijnen inmiddels in een ritme van ongeveer één jaar. Na Hopper volgden Blackwell en Blackwell Ultra, terwijl Vera Rubin de volgende grote stap vormt. Die snelheid is belangrijk voor het verdienmodel. NVIDIA heeft zijn technologische voorsprong in het verleden kunnen omzetten in hoge prijzen en hoge marges. Over het afgelopen boekjaar bedroeg de brutomarge ruim 71%.

Met Vera Rubin richt NVIDIA zich sterk op lagere kosten per token, precies het terrein waarop eigen inferencechips aantrekkelijk worden. Tegelijkertijd verbreedt het bedrijf zijn speelveld. Naast GPU’s levert NVIDIA steeds meer onderdelen van het complete AI-datacenter: CPU’s, netwerkchips, verbindingen tussen chips, switches, software en complete serverkasten.

NVLink Fusion laat goed zien hoe die strategie werkt. Met deze technologie kunnen andere bedrijven hun eigen AI-chips koppelen aan infrastructuur van NVIDIA. Amazon wil NVLink Fusion bijvoorbeeld gebruiken voor een toekomstige generatie Trainium. Zo kan NVIDIA zelfs geld verdienen aan een AI-systeem waarin de accelerator door Amazon zelf is ontworpen.

Het volgende meetmoment ligt op 26 augustus

Op 26 augustus krijgt die strijd een nieuw meetmoment, als NVIDIA zijn kwartaalcijfers presenteert. De sterke recente groei van AWS en Azure laat zien dat de vraag naar AI-rekenkracht nog altijd groot is. De belangrijkste vraag voor de komende jaren is wie het grootste deel van de winst op die groei weet te behouden.

Geschreven door etoro-marktanalist Jean-Paul van Oudheusden