Databricks introduceert Zerobus Ingest voor directe datastromen naar het lakehouse

Door data direct van bronnen naar het lakehouse te leiden, reduceert Zerobus Ingest kosten en neemt het de noodzaak weg meerdere tools te gebruiken. De dienst ondersteunt duizenden gelijktijdige verbindingen en bereikt een geaggregeerde doorvoer van meer dan 10 GB per seconde naar een tabel in minder dan vijf seconden.

Vereenvoudigde architectuur voor lagere kosten

Traditionele messaging bus zoals Kafka zijn ontworpen als multi-sink-systemen die data naar tientallen onafhankelijke consumenten routeren. Zerobus Ingest kiest voor een single-sink-benadering en is geoptimaliseerd voor één specifieke taak: data direct naar het lakehouse pushen. Dit vermindert complexiteit en verlaagt kosten, omdat er geen brokers hoeven te worden geschaald, partities afgestemd, consumentengroepen beheerd of clusters geüpdaterd. Ook is geen gespecialiseerde kennis vereist, zoals van Kafka.

Met Zerobus Ingest volstaat één beheerd Databricks-eindpunt. Gebruikers maken een tabel aan in Unity Catalog, starten met het schrijven van data via de API of SDK en kunnen zonder verdere configuratie aan de slag. De serverloze architectuur schaalt automatisch op tot gigabytes per seconde, zonder handmatige aanpassingen.

Ondersteunde interfaces en native integratie

Ontwikkelaars kunnen integreren via gRPC- en REST-API’s of taal-specifieke SDK’s voor Python, Java, Rust, Go en TypeScript. Zerobus Ingest biedt push-gebaseerde interfaces voor branchespecifieke toepassingen, inclusief OpenTelemetry (bèta) voor operationele logs en metrieken.

Zerobus Ingest versnelt realtime-operaties door de complexiteit van tussenliggende messaging busses te elimineren. Voorbeelden:

• Productie: Sensorgegevens van fabrieksvloeren stroomlijnen voor efficiënter machinebeheer.
• Telecom/IoT: Netwerktelemetrie wereldwijd monitoren met minimale latentie, ondersteund door Soracom’s IoT-infrastructuur.
• IT/Beveiliging: Bedreigingen detecteren zonder ETL-vertraging door logs direct te streamen.
• E-commerce: Klikstroomdata in realtime verwerken voor gepersonaliseerde ervaringen.

Beschikbaarheid

Zerobus Ingest is nu beschikbaar op AWS en Microsoft Azure; ondersteuning voor Google Cloud volgt. De prijs is volume-gebaseerd onder de Lakeflow Jobs Serverless SKU. Meer details zijn te vinden in de documentatie en een technische verdieping.

Meer informatie is hier beschikbaar.