Oracle en AMD bundelen krachten voor doorbraakprestaties in AI-workloads

OCI Supercluster

Om nieuwe AI-toepassingen te ondersteunen die grotere en complexere datasets vereisen, is er behoefte aan AI-rekencapaciteit die specifiek is ontworpen voor grootschalige AI-training. Het "zettascale" OCI Supercluster met AMD Instinct MI355X GPU's voorziet in deze behoefte door een netwerkarchitectuur met hoge doorvoer en ultra-lage latentie (RDMA-cluster) te bieden voor maximaal 131.072 MI355X GPU's. De AMD Instinct MI355X levert bijna drie keer de rekenkracht en een toename van 50 procent in high-bandwidth memory (HBM) vergeleken met de vorige generatie.

Mahesh Thiagarajan, executive vice president van Oracle Cloud Infrastructure, stelt: "Om klanten te ondersteunen die de meest veeleisende AI-workloads in de cloud draaien, zijn we toegewijd aan het leveren van het breedste AI-infrastructuuraanbod. AMD Instinct GPU's, gekoppeld aan OCI's prestaties, geavanceerde netwerken, flexibiliteit, beveiliging en schaal, zullen onze klanten helpen hun inferentie- en trainingsbehoeften voor AI-workloads en nieuwe agentic-applicaties te vervullen."

Forrest Norrod, executive vice president en general manager van AMD's Data Center Solutions Business Group, voegt toe: "AMD en Oracle hebben een gedeelde geschiedenis in het leveren van open oplossingen aan klanten voor hoge prestaties, efficiëntie en grotere flexibiliteit in systeemontwerp. De nieuwste generatie AMD Instinct GPU's en Pollara NIC's op OCI zullen nieuwe use-cases ondersteunen op het gebied van inferentie, fine-tuning en training, en klanten meer keuze bieden naarmate de adoptie van AI toeneemt."

AMD Instinct MI355X op OCI

De AMD Instinct MI355X-aangedreven configuraties zijn ontworpen met het oog op superieure waarde, cloudflexibiliteit en open-source compatibiliteit, wat ze ideaal maakt voor klanten die de grootste taalmodellen en AI-workloads van vandaag draaien. Klanten zullen naar verwachting profiteren van:

• Aanzienlijke prestatieverbetering: Tot 2,8x hogere doorvoer voor AI-implementaties.
• Groter, sneller geheugen: 288 gigabytes HBM3 en tot acht terabytes per seconde aan geheugenbandbreedte, waardoor grote modellen volledig in het geheugen kunnen worden uitgevoerd.
• Nieuwe FP4-ondersteuning: Maakt kosteneffectieve implementatie van moderne grote taalmodellen en generatieve AI-modellen mogelijk met de ondersteuning van de nieuwe 4-bit floating point compute (FP4) standaard voor ultra-efficiënte en high-speed inferentie.
• Compact, vloeistofgekoeld ontwerp: Maximale prestatiedichtheid met 125 kilowatt per rack voor veeleisende AI-workloads.
• Gebouwd voor productieschaal training en inferentie: Ondersteuning van nieuwe agentic-applicaties met een snellere 'time-to-first token' (TTFT) en hoge 'tokens-per-second' doorvoer.
• Krachtige head node: Optimalisatie van GPU-prestaties door efficiënte job-orkestratie en dataverwerking met een AMD Turin high-frequency CPU en tot drie terabytes systeemgeheugen.
• Open-source stack: Flexibele architecturen en eenvoudige migratie van bestaande code zonder vendor lock-in via AMD ROCm.
• Netwerkinnovatie met AMD Pollara: Geavanceerde RoCE-functionaliteit voor innovatieve netwerkfabricontwerpen. Oracle zal de eerste zijn die AMD Pollara AI NIC's in backend-netwerken implementeert, met geavanceerde RoCE-functies zoals programmeerbare congestiecontrole en ondersteuning voor open industriestandaarden van het Ultra Ethernet Consortium (UEC).

Deze samenwerking tussen Oracle en AMD is een stap om de beschikbare infrastructuur voor AI te verbeteren en meer bedrijven in staat te stellen AI op grotere schaal te implementeren en te benutten.