DDN en Nebul versnellen soevereine AI-inferentie met DDN Infini

Bij de verwerking van AI-modellen (inferentie) moeten GPU's bij herhaalde of omvangrijke vragen vaak dezelfde context opnieuw berekenen. DDN Infinia slaat deze vooraf gegenereerde context extern op, waardoor de gegevens direct beschikbaar blijven voor alle GPU's binnen de vloot. Als een taak wordt verplaatst of een GPU wordt vervangen, hoeft de context niet opnieuw opgebouwd te worden. Dit levert niet alleen een tot vijf keer snellere token-respons op, maar verhoogt ook de capaciteit naar 2,5 keer meer input-tokens per seconde op dezelfde GPU-hardware. Bovendien dalen de kosten per miljoen input-tokens met bijna 60 procent.

Naast de prestatiewinst biedt het platform waarborgen voor datasoevereiniteit en gegevensscheiding in multi-tenant omgevingen. De opgeslagen AI-context blijft strikt geïsoleerd op klant-, subklant- en datasetniveau, waardoor de naleving van privacy- en beveiligingsregels gegarandeerd blijft.

In de praktijk maken Nederlandse IT-dienstverleners al gebruik van de soevereine AI-cloud van Nebul. Zo draait IT- en softwarebedrijf Centric, dat oplossingen levert aan circa 70 procent van de Nederlandse gemeenten, AI-modellen binnen de Europese infrastructuur van Nebul om te voldoen aan de strenge eisen van de publieke sector. Ook het Utrechtse bureau Leukeleu gebruikt het platform voor de verwerking van zijn private AI-assistent SureGPT, waarmee organisaties gevoelige interne documenten en strategieën veilig via AI kunnen ontsluiten.

Volgens Arnold Juffer (foto), CEO van Nebul, bewijst de technologie dat datasoevereiniteit niet ten koste hoeft te gaan van prestaties. Door GPU-capaciteit efficiënter te benutten, kunnen Europese organisaties hoogwaardige AI-toepassingen schalen binnen een volledig gecontroleerde en beveiligde omgeving.