AWS daagt GPU-markt uit met krachtige Trainium3 UltraServers

De strijd om rekenkracht voor kunstmatige intelligentie is hevig, en met de Trainium3 zet AWS een grote stap vooruit ten opzichte van zijn voorganger. Volgens het bedrijf levert de nieuwe chip tot 4,4 keer meer rekenkracht en een bijna verviervoudiging van de geheugenbandbreedte in vergelijking met de Trainium2.

Enorme schaalbaarheid

De nieuwe chips worden niet los aangeboden, maar in zogeheten 'UltraServers'. Een enkele Trn3 UltraServer kan tot 144 Trainium3-chips bevatten. Deze enorme dichtheid aan rekenkracht levert volgens AWS prestaties tot 362 'PFLOPs' (een maatstaf voor computersnelheid) bij FP8-berekeningen. Dit stelt organisaties in staat om gigantische AI-modellen aanzienlijk sneller te trainen.

Naast snelheid ligt de focus op duurzaamheid en kosten. De chips zouden vier keer energie-efficiënter zijn dan de vorige generatie, wat direct invloed heeft op de operationele kosten van datacenters.

Halvering van de kosten

Grote namen in de AI-wereld, waaronder Anthropic, testen de hardware al. AWS claimt dat klanten die overstappen op Trainium-chips hun kosten voor training en inferentie (het gebruik van het model) met wel 50 procent kunnen verlagen.

Een specifiek voorbeeld komt van Decart, een bedrijf gespecialiseerd in real-time generatieve video. Zij melden dat hun inferentie-processen op de nieuwe hardware vier keer sneller verlopen dan op traditionele GPU's, tegen de helft van de kosten.

Eigen gebruik

AWS voegt zelf ook de daad bij het woord: Amazon Bedrock, de dienst waarmee bedrijven diverse AI-modellen kunnen gebruiken, draait zijn productieworkloads inmiddels al op de nieuwe Trainium3-servers.