Google Cloud introduceert innovatieve high-performance opslag voor AI-workloads

De innovaties zijn ontwikkeld om de benutting van accelerators (GPU's en TPU's) te verbeteren, kosten te verlagen en de doorvoer van AI-trainingsprocessen te versnellen.

De nieuwe oplossingen omvatten:

• Rapid Storage: Een nieuw type Cloud Storage zonal bucket met een toonaangevende random lees- en schrijflatentie van minder dan 1 milliseconde. Het biedt tot 20 keer snellere data-acces, een doorvoer van 6 TB/s en een 5 keer lagere latentie voor random lees- en schrijfbewerkingen in vergelijking met andere grote hyperscalers. Rapid Storage is gebouwd op het Colossus-bestandssysteem van Google, waardoor opslag en AI-accelerators in dezelfde zone kunnen worden geplaatst, wat de typische latency van regionale opslag vermijdt.
• Anywhere Cache: Een nieuwe, sterk consistente cache die werkt met bestaande regionale buckets om data binnen een geselecteerde zone te cachen. Anywhere Cache vermindert de latency tot 70% en biedt een doorvoer van 2,5 TB/s, waardoor AI-workloads aanzienlijk worden versneld. Door data dicht bij GPU's of TPU's te plaatsen, wordt de 'goodput' gemaximaliseerd. Anywhere Cache kan met één klik in andere regio's en zones worden ingeschakeld, zonder wijzigingen aan de bucket of applicatie. Bovendien worden egress-kosten voor gecachte data geëlimineerd.
• Google Cloud Managed Lustre: Een nieuw, volledig beheerd parallel bestandssysteem gebouwd op het DDN EXAScaler Lustre-bestandssysteem. Deze zonale opslagoplossing biedt petabyte-schaalbaarheid met een latency van minder dan 1 milliseconde, miljoenen IOPS en een doorvoer van TB/s voor AI-workloads. Het biedt volledige POSIX-ondersteuning en maakt het eenvoudig om datasets van en naar Cloud Storage te verplaatsen via de Cloud Storage bulk import/export API.
• Storage Intelligence: Een nieuwe dienst die storage-inzichten genereert die specifiek zijn voor de omgeving van de gebruiker door objectmetadata op schaal te bevragen met behulp van LLM's (Large Language Models). Storage Intelligence biedt niet alleen inzicht in omvangrijke data-omgevingen, maar stelt gebruikers ook in staat actie te ondernemen, zoals het non-destructief verplaatsen van buckets om data dichter bij accelerators te plaatsen.

Volgens Google Cloud helpen deze innovaties organisaties om hun AI-modellen efficiënter te trainen, controleren en bedienen door de GPU's en TPU's continu van data te voorzien. Door de latency te verminderen en de doorvoer te verhogen, kunnen bedrijven kosten en resources optimaliseren en hun AI-workloads versnellen. Storage Intelligence biedt daarnaast de mogelijkheid om de opslaginfrastructuur te analyseren en te optimaliseren op basis van metadata, wat kan leiden tot kostenbesparingen en verbeterde beveiliging.