Safetensors treedt toe tot PyTorch Foundation

Met de komst van Safetensors versterkt de PyTorch Foundation haar portfolio, waar ook projecten als DeepSpeed, Helion en vLLM onder vallen. De stap komt op een cruciaal moment: naarmate AI-modellen sneller worden ontwikkeld en verspreid, nemen ook de risico's op kwaadaardige software in modelbestanden toe.

Het einde van het 'Pickle-gevaar'

Voorheen werden AI-modellen vaak opgeslagen in formaten zoals Pickle. Dit bracht echter een groot risico met zich mee: bij het laden van zo'n bestand kon ongemerkt schadelijke code worden uitgevoerd op het systeem van de gebruiker. Safetensors lost dit op door een strikte scheiding aan te brengen tussen de data van het model en de metadata.

"Safetensors fungeert als een inhoudsopgave voor de data van een AI-model," legt de stichting uit. Het voorkomt dat er willekeurige code kan worden uitgevoerd tijdens het openen van een bestand. Hierdoor wordt het een essentieel onderdeel van de 'open source AI-stack' voor bedrijven die veiligheid hoog in het vaandel hebben staan.

Snelheid en veiligheid hand in hand

Naast de veiligheidsvoordelen biedt Safetensors ook technische winst. Het formaat is geoptimaliseerd voor snelheid, vooral in complexe computeromgevingen met meerdere GPU's en nodes. Het maakt het laden van modellen efficiënter, wat essentieel is voor de huidige generatie zware AI-modellen.

"Safetensors is een cruciale stap in het opschalen van AI-modellen voor productiegebruik," aldus Mark Collier, Executive Director van de PyTorch Foundation. "Het verlaagt de risico's bij de uitvoering van code, terwijl het tegelijkertijd significante snelheidswinst biedt."

Nieuwe standaard voor de industrie

Hugging Face, de drijvende kracht achter de ontwikkeling van het formaat, ziet de toetreding tot de stichting als het begin van een nieuwe fase. Volgens Luc Georges en Lysandre Debut van Hugging Face is het doel om van Safetensors de standaard te maken die overal standaard wordt gebruikt.

Samen met de eerdere aankondiging van Helion verstevigt de PyTorch Foundation hiermee de technische toekomst van open-source AI. Voor ontwikkelaars betekent dit dat ze kunnen bouwen op een fundament dat niet alleen snel en krachtig is, maar ook vertrouwd kan worden in professionele bedrijfsomgevingen.