Everpure domineert internationale AI-storagebenchmark

De officiële industriebenchmark toonde aan dat de FlashBlade//EXA op het hoogtepunt een schrijf-doorvoersnelheid van 877,52 GiB/s en een lees-doorvoersnelheid van 588,28 GiB/s behaalde bij het opslaan van checkpoints voor een Llama-model met 1,25 biljoen (1.25T) parameters. Opvallend daarbij was de vrijwel lineaire schaalbaarheid naarmate het aantal datanodes werd uitgebreid.

Geen vertraging voor kostbare GPU-clusters

In de praktijk lopen AI-ontwikkelteams regelmatig tegen vertragingen op tijdens lange trainingssessies van grote taalmodellen. Wanneer een model een tussentijds 'checkpoint' opslaat of wanneer bij inferentie KV-cachedata moet worden opgehaald, moet het opslagsysteem op volle snelheid leveren. Schiet de opslaginfrastructuur tekort, dan blijven dure GPU-clusters doelloos wachten op data, wat de operationele kosten snel doet oplopen.

Met 1.024 gesimuleerde versnellers en 30 datanodes voltooide het FlashBlade//EXA-systeem de schrijfoperatie voor een 1.25T-model in 17,74 seconden (877,52 GiB/s). Bij 10 datanodes lag de schrijfcapaciteit op 327,65 GiB/s. Volgens Rob Lee, Chief Technology and Growth Officer bij Everpure, bevestigen de testresultaten dat het platform voldoet aan de strengste eisen van de nieuwste generatie AI-workloads zonder in te boeten op betrouwbaarheid en beheerderseenvoud.

Sleutelrol voor KV-cache bij inferentie

De benchmarkresultaten belichten eveneens de toenemende druk op de inferentiezijde. Naarmate bedrijven grootschalige AI-modellen daadwerkelijk in productie nemen, wordt de zogeheten KV-cache een essentieel onderdeel van het datapad.

In de MLPerf-tests behaalde het systeem bij een Llama 3.1 8B-workload een snelheid van 85.736 tokens per seconde bij puur gebruik van de opslaginfrastructuur. In een gecombineerde opstelling van opslag en werkgeheugen lag dit op 67.642 tokens per seconde. Bij een zwaarder 70B-model haalde het platform via de opslaglaag 33.403 tokens per seconde.

Gedesaggregeerde architectuur

De technische opbouw van het geteste systeem leunt op een gedesaggregeerde architectuur, waarbij het beheer van metadata strikt gescheiden is van het daadwerkelijke datatransport:

Hardware-opstelling: 30 FlashBlade//EXA-blades voorzien van 120 DirectFlash-modules voor metadata, gecombineerd met 30 Linux/NVMe-datanodes.

Capaciteit: Ongeveer 866 TB aan bruikbare opslag via één geïntegreerd bestandssysteem.

Netwerkprotocollen: NFSv4.1/pNFS over TCP voor het afhandelen van de bestandslay-out en NFSv3 over RDMA (RoCEv2) voor het snelle datatransport over de netwerkfabric.

Door deze scheiding hoeft het dataverkeer niet langer door een centrale opslagflessehals te worden geperst, maar beweegt het zich direct over de netwerkinfrastructuur naar de verwerkingseenheden.

Verschuiving naar de Enterprise Data Cloud

De benchmarkresultaten sluiten aan bij de bredere strategie van Everpure om traditionele storage-arrays te transformeren naar een softwaregestuurde 'Enterprise Data Cloud'. Daarmee wil de leverancier opslag, netwerk en rekenkracht als één geïntegreerd geheel laten samenwerken.

Naarmate AI-clusters uitbreiden, wordt het voorspelbaar en schaalbaar kunnen verplaatsen van grote hoeveelheden data doorslaggevend voor het rendement op kostbare hardware-investeringen.