Google Cloud lanceert Ironwood TPU’s en Axion VM’s
Google Cloud heeft een aanzienlijke stap gezet in de AI-hardware race met de algemene beschikbaarheid van zijn zevende generatie Tensor Processing Units (TPU's), genaamd Ironwood. Tegelijkertijd introduceert het bedrijf nieuwe virtual machines (VM's) die draaien op zijn eigen Arm-gebaseerde Axion CPU's, waarmee Google Cloud zijn siliconen-strategie voor zowel gespecialiseerde AI-versnelling als efficiënte algemene compute versterkt.
Deze lancering is volgens Google cruciaal voor de "Age of Inference," het tijdperk waarin de focus verschuift van het uitsluitend trainen van massieve AI-modellen naar het op schaal en met lage latentie inzetten daarvan voor miljoenen gebruikers en AI-agents.
Ironwood: snellere prestaties voor AI-inference
De Ironwood TPU is Google's krachtigste en meest energie-efficiënte custom chip tot nu toe. De belangrijkste kenmerken benadrukken schaalbaarheid en efficiëntie:
Prestatiesprong: Ironwood levert een 10x hogere piekprestatie dan zijn voorganger, de TPU v5p, en meer dan 4x betere prestaties per chip dan de TPU v6e (Trillium) voor zowel trainings- als inference-workloads.
Energie-efficiëntie: De prestatie per Watt van Ironwood is 2x hoger dan die van Trillium, wat cruciaal is in een tijd waarin stroomvoorziening een beperkende factor wordt in datacenters.
Massieve schaal: Ironwood-gebaseerde systemen kunnen opschalen naar zogenaamde "superpods" met tot wel 9.216 chips. Deze zijn met elkaar verbonden via Google's razendsnelle Inter-Chip Interconnect (ICI) netwerk, waardoor ze als één gigantische AI Hypercomputer functioneren.
Anthropic
Grote AI-spelers, zoals het door Google gesteunde Anthropic (de ontwikkelaar van het Claude-model), zijn vroege adoptanten van Ironwood en verwachten aanzienlijke winst in de prijs-prestatieverhouding en efficiëntie bij het serven van hun modellen.
Axion: het operationele hart van de AI hypercomputer
Naast de gespecialiseerde Ironwood-acceleratoren breidt Google Cloud ook zijn aanbod van Axion-gebaseerde VM's uit. Axion is Google's eigen Arm-gebaseerde CPU en is ontworpen om de operationele ruggengraat van AI-systemen te ondersteunen.
Terwijl Ironwood de zware AI-taak uitvoert, excelleert Axion in taken zoals:
- Gegevensvoorbereiding en -invoer (data ingestion).
- Het draaien van applicatieservers die intelligente AI-applicaties hosten.
- Algemene compute-taken zoals web serving en microservices.
De nieuwe N4A-instance (nu in preview) biedt volgens Google tot 2x betere prijs-prestatieverhouding dan vergelijkbare, huidige generatie x86 VM's. Dit wordt verder aangevuld met C4A metal, Google Cloud's eerste Arm bare metal instance, wat klanten de mogelijkheid geeft om applicaties rechtstreeks op de hardware te draaien met maximale controle en prestaties.
De combinatie van Ironwood en Axion, geïntegreerd in de AI Hypercomputer-architectuur, markeert Google Cloud's inzet voor een co-designed hardware- en softwarestrategie. Door het zelf ontwerpen van de siliciumchips kan Google de prestaties maximaliseren en tegelijkertijd de kosten en het energieverbruik voor veeleisende AI-workloads van zijn klanten verlagen.
Meer over Cloud
Over Witold Kepinski
