IBM en Groq bundelen krachten

Het partnerschap beoogt klanten high-speed AI-inferentiecapaciteiten te bieden tegen concurrerende kosten. Dit moet het voor ondernemingen gemakkelijker maken om onmiddellijk actie te ondernemen op complexe werkstromen.

Infrastructuur voor schaalbaarheid

Ondernemingen die AI-agents van proefprojecten naar volledige productie willen brengen, worden geconfronteerd met uitdagingen op het gebied van snelheid, kosten en betrouwbaarheid. Dit geldt met name in sectoren met missiekritische toepassingen, zoals de gezondheidszorg, financiën, overheid en productie.

De samenwerking combineert de inferentiesnelheid en kostenefficiëntie van Groq met de agentic AI-orkestratie van IBM. GroqCloud, aangedreven door de op maat gemaakte LPU-architectuur (Language Processing Unit) van Groq, levert naar eigen zeggen meer dan 5x snellere en kostenefficiëntere inferentie dan traditionele GPU-systemen. Dit resulteert in consistent lage latentie en betrouwbare prestaties, essentieel voor AI-agents in gereguleerde sectoren.

Als voorbeeld noemt IBM de gezondheidszorg, waar AI-agents in staat moeten zijn om duizenden complexe patiëntvragen tegelijkertijd in real-time te analyseren en direct nauwkeurige antwoorden te geven. De technologie wordt ook toegepast in niet-gereguleerde sectoren, zoals de detailhandel, voor HR-agents om automatisering van HR-processen en productiviteit van werknemers te verbeteren.

Toegang en integratie

Rob Thomas, SVP, Software en Chief Commercial Officer bij IBM, benadrukt dat het partnerschap de inzet van IBM onderstreept om klanten de meest geavanceerde technologieën te bieden om de implementatie van AI te realiseren en bedrijfswaarde te creëren.

Jonathan Ross, CEO & Oprichter van Groq, stelt dat de samenwerking organisaties in staat stelt het volledige potentieel van AI-gestuurde reacties te ontsluiten met de prestaties die nodig zijn om te schalen.

IBM zal klanten per direct toegang bieden tot de capaciteiten van GroqCloud. De gezamenlijke teams zullen zich richten op:

• Leveren van high-speed en high-performance inferentie voor AI-modellen en agentic AI-gebruiksscenario's.
• Bieden van een veilige en privacygerichte AI-implementatie die voldoet aan strenge regelgevende vereisten.
• Zorgen voor een naadloze integratie met IBM's watsonx Orchestrate.

Daarnaast zijn Groq en IBM van plan de Red Hat open source vLLM-technologie te integreren en te verbeteren met Groq's LPU-architectuur. Dit moet ontwikkelaars verschillende benaderingen bieden voor veelvoorkomende AI-uitdagingen bij inferentie en de oplossing moet de Granite-modellen van IBM ondersteunen op GroqCloud voor IBM-klanten.

Door deze samenwerking zeggen IBM en Groq verbeterde toegang te bieden tot zakelijke AI die snel, intelligent en ontworpen is voor impact in de praktijk.