Red Hat AI draait voortaan ook op AWS Trainium‑ en Inferentia‑chips

De groeiende vraag naar schaalbare AI-oplossingen zorgt ervoor dat organisaties hun IT-infrastructuur moeten heroverwegen. Volgens marktonderzoeker IDC zal tegen 2027 naar verwachting 40 procent van de bedrijven gebruikmaken van gespecialiseerde chips, zoals ARM-processors of AI/ML-gerichte chips, om prestaties te optimaliseren en kosten te verlagen.

Samenwerking biedt volledige AI-stack

De integratie tussen Red Hat en AWS omvat verschillende componenten:

• Red Hat AI Inference Server wordt geoptimaliseerd voor AWS AI-chips, waardoor een gemeenschappelijke laag ontstaat die diverse generatieve AI-modellen ondersteunt. Dit leidt tot betere prestaties, lagere latentie en een kostenbesparing van 30 tot 40 procent ten opzichte van huidige GPU-gebaseerde Amazon EC2-instances.
• AWS Neuron-operator voor Red Hat OpenShift maakt het mogelijk om AI-workloads te draaien met AWS-accelerators binnen Red Hat OpenShift, Red Hat OpenShift AI en Red Hat OpenShift Service on AWS.
• Vereenvoudigde uitrol via de amazon.ai Ansible Certified Collection voor Red Hat Ansible Automation Platform, die het beheren van AI-diensten op AWS eenvoudiger maakt.

Daarnaast dragen Red Hat en AWS bij aan de open source-community door een AWS AI-chipplugin te optimaliseren voor vLLM, een open source-bibliotheek voor efficiënte AI-inferencing. Dit project vormt de basis voor llm-d, een initiatief gericht op schaalbare inferencing, nu beschikbaar als ondersteunde functionaliteit in Red Hat OpenShift AI 3.

AI-workloads efficiënter en flexibeler uitrollen

“Door onze enterprise-grade Red Hat AI Inference Server – gebouwd op het innovatieve vLLM‑framework – te ondersteunen met AWS AI‑chips, stellen we organisaties in staat AI‑workloads met meer efficiëntie en flexibiliteit uit te rollen en op te schalen. Deze samenwerking bouwt voor op Red Hats open source‑gedachtegoed en is erop gericht generatieve AI toegankelijker en kosteneffectiever te maken in hybride cloudomgevingen”, aldus Joe Fernandes, vice president en general manager, AI Business Unit, Red Hat.

“Grote organisaties vragen om oplossingen die uitzonderlijke prestaties, kostenefficiëntie en operationele keuzevrijheid bieden voor bedrijfskritische AI‑workloads. AWS heeft Trainium‑ en Inferentia‑chips ontwikkeld om hoogwaardige AI‑inferencing en training toegankelijker en betaalbaarder te maken. Onze samenwerking met Red Hat biedt klanten een ondersteunende manier om generatieve AI op schaal in te zetten. We combineren de flexibiliteit van open source met de infrastructuur van AWS en speciaal ontworpen AI‑accelerators om de ontwikkeltijd van pilot tot productie te versnellen”, zegt Colin Brace, vice president, Annapurna Labs, AWS.

Beschikbaarheid

De AWS Neuron-communityoperator is nu verkrijgbaar in de Red Hat OpenShift OperatorHub voor gebruikers van Red Hat OpenShift en Red Hat OpenShift Service on AWS. Ondersteuning voor AWS AI-chips in Red Hat AI Inference Server wordt naar verwachting in januari 2026 beschikbaar gesteld in een developer preview.