IBM lanceert hyper-efficiënte Granite 4.0 modellen
IBM heeft een nieuwe generatie van zijn taalmodellen, Granite 4.0, gelanceerd. Deze modellen zijn ontworpen om een doorbraak te realiseren in efficiëntie voor zakelijke toepassingen. Met een innovatieve hybride Mamba/transformer-architectuur belooft Granite 4.0 aanzienlijk lagere geheugenvereisten en exploitatiekosten, zonder in te boeten op prestaties. Dit betekent dat bedrijven de modellen kunnen draaien op goedkopere GPU's dan conventionele Large Language Models (LLM's).
Eerste Open Modellen met ISO 42001-certificering
De Granite 4.0-modellen zijn open-source gemaakt onder een standaard Apache 2.0-licentie. Een opmerkelijk kenmerk is dat ze de eerste open modellen ter wereld zijn die de ISO 42001-certificering hebben ontvangen. Dit internationale keurmerk bevestigt de naleving van strenge normen voor beveiliging, governance en transparantie in AI-beheersystemen. Bovendien zijn de modellen cryptografisch ondertekend om hun authenticiteit en herkomst te garanderen.
"Onze doelstelling is om de drempels te verlagen door zowel bedrijven als open-source ontwikkelaars kosteneffectieve toegang te bieden tot zeer concurrerende LLM's," aldus IBM.
Kracht van hybride
De lancering van Granite 4.0 markeert een nieuw tijdperk, waarbij IBM zich richt op kleine, efficiënte taalmodellen die concurrerende prestaties leveren tegen lagere kosten en met verminderde latentie. De modellen zijn geoptimaliseerd voor cruciale taken in agentische workflows, zowel stand-alone als als kostenefficiënte bouwstenen in complexe systemen.
De nieuwe hybride architectuur combineert de lineaire schaling van Mamba-lagen, die uitstekend presteren bij lange contextlengtes, met de nuanceverwerking van traditionele transformer-aandachtslagen. Dit lost het "kwadratische knelpunt" van traditionele transformers op, waarbij de rekenbehoefte snel oploopt naarmate de context langer wordt.
Ten opzichte van conventionele LLM's kunnen de hybride Granite 4.0-modellen meer dan 70% minder RAM vereisen bij het verwerken van lange invoer en gelijktijdige batches, zoals het analyseren van uitgebreide documentatie of het afhandelen van meerdere klantsessies tegelijk.
De Granite 4.0-collectie omvat verschillende groottes, waaronder:
- Granite-4.0-H-Small (32B parameters totaal, 9B actief)
- Granite-4.0-H-Tiny (7B parameters totaal, 1B actief)
- Granite-4.0-H-Micro (3B dichte hybride model)
Zelfs de kleinste modellen overtreffen aanzienlijk de prestaties van de vorige generatie (Granite 3.3 8B), terwijl ze minder dan de helft van de grootte hebben.
Beschikbaarheid en samenwerkingen
Granite 4.0 is direct beschikbaar via IBM watsonx.ai en via diverse platformpartners. Dit zijn onder andere Dell Technologies, Docker Hub, Hugging Face, Kaggle, LM Studio, NVIDIA NIM, Ollama, OPAQUE en Replicate. Integratie met Amazon SageMaker JumpStart en Microsoft Azure AI Foundry volgt binnenkort.
De nadruk op veiligheid en betrouwbaarheid wordt verder onderstreept door een recent bug bounty-programma met HackerOne en het gebruik van cryptografische ondertekening om de integriteit van de modellen te waarborgen. Vroege toegangspartners, waaronder EY en Lockheed Martin, hebben de modellen al grootschalig getest voor bedrijfskritische toepassingen.
Later dit jaar zal IBM de Granite 4.0-familie uitbreiden met "Thinking"-varianten, specifiek getraind voor complexe, logische taken, en met de nog kleinere Granite 4.0 Nano-modellen voor gebruik op edge devices.
Meer over Open Source
Over Witold Kepinski
