Databricks LTAP data-architectuur elimineert ETL

De basis van deze nieuwe architectuur is Lakebase, een vorig jaar gelanceerde technologie die serverless Postgres-functionaliteit naar open object storage brengt. Volgens Databricks verwerkt Lakebase inmiddels 12 miljoen database-starts per day voor duizenden klanten, waaronder Block, Superhuman en Zillow. Met LTAP worden Lakebase en het bestaande Lakehouse samengevoegd onder één governance-model en één opslaglaag voor alle operationele, analytische en streaming data.

De data-infrastructuur voor autonome AI-agenten

Volgens Databricks is de traditionele scheiding tussen operationele databases en analytische systemen niet langer houdbaar in het tijdperk van kunstmatige intelligentie. Waar softwareontwikkeling voorheen op menselijke snelheid plaatsvond, zorgt AI er nu voor dat ontwikkelaars tot vijftig keer meer applicaties bouwen. Veel van deze toepassingen worden aangedreven door autonome AI-agenten die in realtime data moeten lezen, analyseren en omzetten in actie.

Eerdere pogingen uit de industrie om transactionele en analytische data te combineren (HTAP) mislukten vaak omdat de workloads elkaar in de weg zaten, wat ten koste ging van de prestaties. Alternatieve 'Zero ETL'-oplossingen verbergden de datapijplijn in feite alleen, in plaats van deze daadwerkelijk te elimineren. LTAP kiest voor een andere benadering door de data direct op de opslaglaag te verenigen. Hierdoor kunnen transactionele en analytische workloads onafhankelijk van elkaar schalen met volledige prestatie-isolatie. Omdat het platform is gebouwd op open standaarden, werkt het met elke applicatie die Postgres ondersteunt en met open tabelformaten zoals Delta Lake en Apache Iceberg.

Ali Ghodsi, medeoprichter en CEO van Databricks, legt uit dat ingewikkelde data-infrastructuren decennialang een onvermijdelijke belasting vormden voor IT-teams. Met de komst van AI-agenten, die in hoog tempo code schrijven en loops uitvoeren, is de oude infrastructuur volgens hem een onbetaalbare bottleneck geworden. LTAP is ontworpen om die barrière te slechten.

Nieuwe enterprise-functionaliteiten voor Lakebase

Tegelijkertijd met de introductie van LTAP heeft Databricks nieuwe enterprise-functies voor Lakebase aangekondigd. Het platform krijgt ondersteuning voor disaster recovery over verschillende clouds en regio's heen, wat de veerkracht van bedrijfskritische AI-systemen moet vergroten.

Daarnaast introduceert het bedrijf vertakkingen en momentopnamen in Git-stijl (git-style branching en snapshots). Hiermee kunnen ontwikkelaars en AI-agenten veilig experimenteren met productiedata zonder de live-omgeving in gevaar te brengen. Tot slot beschikt het platform over autonome database-functionaliteiten, waarmee AI-agenten zelfstandig de prestaties kunnen monitoren, vertragingen kunnen detecteren en indexeringen kunnen voorstellen voor systeemherstel.

Drie kerneigenschappen van de LTAP-architectuur

Het samengaan van Lakebase en het Lakehouse binnen de LTAP-architectuur levert volgens Databricks drie fundamentele voordelen op voor enterprise-omgevingen:

Ten eerste biedt het platform een centrale governance en één bron van waarheid (source of truth). Alle transactionele, analytische en streaming data worden in hun originele open formaten opgeslagen en beheerd via Unity Catalog. Dit zorgt voor een uniform model voor identiteiten, machtigingen en audits.

Ten tweede zijn er geen prestatie-compromissen. Transactionele workloads draaien in standaard Postgres met volledige ACID-garanties, terwijl analytische workloads schalen over het complete Lakehouse. Omdat er geen dataverplaatsing nodig is, zijn operationele en analytische resultaten altijd synchroon.

Ten derde elimineert de architectuur de noodzaak voor ETL-pijplijnen. Er zijn geen connectoren of replica's meer nodig om systemen synchroon te houden, wat de operationele IT-kosten verlaagt en ervoor zorgt dat data altijd actueel is.

Grant Veazey, CTO van Ensemble, een Amerikaanse dienstverlener in de zorgsector, geeft aan dat het samenbrengen van operationele en analytische data op één laag cruciaal is voor hun AI-toepassingen. Het geeft hun systemen de realtime datatoegang die nodig is voor live zorg- en bedrijfsprocessen, wat zich volgens hem direct vertaalt in betere financiële prestaties voor zorgverleners.

Beschikbaarheid

Databricks heeft laten weten dat de LTAP-architectuur binnenkort beschikbaar wordt als onderdeel van het Lakebase-portfolio.