Equalum analyseert streaming data van en naar de cloud
De realtime verwerking van data in de cloud heeft zo zijn uitdagingen. De integratie van de data kan dus verbeterd worden en dat is precies wat de Israëlische start-up Equalum tijdens de IT Press Tour met Dutch IT Channel wilde delen. VP Marketing Eyal Perlson (foto) hield op het kantoor in Tel Aviv een motiverend betoog. Eyal: “De complexiteit van moderne data-integratie is een uitdaging. Daarom zijn we Equalum gestart. We willen moderne data-integratie vereenvoudigen, real-time data in het cluster. We kunnen de gegevens in realtime repliceren of verwerken via CDC (change data capture).”
CDC is een benadering van gegevensintegratie die is gebaseerd op de identificatie, registratie en distributie van wijzigingen in gegevensbronnen van bijvoorbeeld ondernemingen.
CDC zien we in datawarehouse-omgevingen, omdat het vastleggen en bewaren van de status van gegevens in de tijd een van de kernfuncties van een datawarehouse is. Maar CDC kan ook worden gebruikt in combinatie met elke database of data opslagsysteem.
Equalum is op Apache Kafka, een gedistribueerde event store en stream-processing platform, gebouwd. De relevante data worden tijdens het streamen ontsloten. Hierdoor is er geen bewerking in de cloud nodig. Dit is essentieel omdat het bewerken van data die in de cloud staat, kostbaar is door de verkeerskosten die cloud providers rekenen. De on-prem data worden dus geanalyseerd en geoptimaliseerd voordat zij in de cloud opgeslagen wordt.
Na de analyse van de streaming data worden enkel de veranderingen gearchiveerd, wederom een manier om kosten en volume in de hand te houden.
De CDC-interface is ontwikkeld in de vorm van een connector waardoor ook integratie bij OEM’s mogelijk is. Hierdoor kunnen ook legacy systemen aansluiting bij de moderne cloud infrastructuur krijgen.
Equalum heeft drie mooie use cases: real-time replicatie, stream processing en batch processing (batch ETL). De software zal gedistribueerd worden via de marktplaatsen.
Door: Hans Steeman
Meer over data
Over Hans Steeman
