Hoe Enakta Labs de toekomst van dataopslag herschrijft

Hun geheim heet DAOS, Distributed Asynchronous Object Storage, een open-source project dat oorspronkelijk door Intel werd ontwikkeld voor de Amerikaanse overheid. "DAOS draait om snelheid," legt Denis uit. "Dat is het allereerste wat je moet weten. Het is gebouwd om extreem snel te zijn." En snel is het inderdaad. Op de Aurora supercomputer, de grootste DAOS-installatie ter wereld met 1000 nodes, houdt het systeem alle prestatie-records voor opslagsystemen bij. Maar daar lag ook meteen het probleem: DAOS was zo gespecialiseerd, zo complex, dat alleen supercomputer-experts ermee konden werken. Een CLI is er nog voor speciale toepassingen, een gewone desktop voor het normale gebruik.

Meer toepassingen waren nodig

"We wilden geen situatie zoals bij Ceph", zegt Denis, die tien jaar in deze wereld doorbracht. "Iedereen denkt: 'Het is gratis, gewoon downloaden!' en dan bellen ze je drie maanden later omdat ze data verloren hebben. Dat wilden we niet meer meemaken."

Dus begonnen de twee Denissen in 2020 met hun experiment. Ze kenden DAOS van binnenuit en hadden alle ‘lijken in de kast’ gezien, zoals Denis het noemt. In 2023 richtten ze Enakta Labs op en werden medeoprichters van de DAOS Foundation onder de Linux Foundation.

Grote uitdagingen

De uitdaging was enorm. DAOS was zo afhankelijk van Intel's Optane-geheugen, dat het project bijna drie jaar kostte om het systeem daarvan los te weken. "Optane was geweldig," geeft Denis toe, "maar toen Intel ermee stopte, moesten we alles herschrijven."

Het resultaat is verbluffend. Bij de IO500-benchmark op het Core42 Maximus-systeem, een cluster met 10.000 GPU's, bewees Enakta Labs wat mogelijk is. Met pure TCP, zonder de gebruikelijke RDMA-trucs, presteerde hun systeem beter dan alle andere opslagsystemen ter wereld. Eén enkele client haalde 275 gigabyte per seconde, geen megabyte, geen gigabit, maar gigabyte!

"We forceren het probleem gewoon met brute kracht," lacht Denis. "GPU's die stilstaan tijdens checkpointing? Geen probleem. Wij kunnen dat geheugen dumpen op lijnsnelheid. Een node crasht? We herstellen het in minder dan tien minuten."

Klaar voor de markt

De toepassingen zijn eindeloos: high-performance computing, AI en machine learning, financiële handel, media en entertainment. Eén klant gebruikt het systeem voor volumetrische opnames met 270 camera's tegelijk, als je daar frames verliest, moet je alles opnieuw doen. Volumetrische opnames zijn registraties waarbij een object, persoon of omgeving volledig in drie dimensies (3D) wordt vastgelegd, inclusief diepte-informatie, zodat het vanuit elke kijkhoek realistisch kan worden bekeken of afgespeeld. Met traditionele systemen was dat bijna onmogelijk, met DAOS werkt het feilloos.

Maar het mooiste is misschien wel de filosofie achter het product. "Geen contracten van 400 pagina's", belooft Denis. "Geen 'professionele servicekosten’. Als je ons om 3 uur 's nachts belt met een probleem, nemen we op. Zo simpel is het."

Met slechts vijf medewerkers en klanten verspreid over drie continenten bewijst Enakta Labs dat kleine teams grote impact kunnen hebben. Ze werken niet voor aandeelhouders of investeerders, maar voor hun klanten. En terwijl de rest van de wereld nog steeds worstelt met trage, complexe opslagsystemen, schrijven twee mannen vanuit een Brits dorpje stilletjes geschiedenis.