Snel zoeken in cloud-bestanden met Quickwit

Door zijn eigen aanpak reduceert Quickwit (dat is ontwikkeld met de programmeertaal Rust, stateless is en snel schaalt in het petabyte-bereik) de kosten van de noodzakelijke infrastructuur en wordt het zoeken aanzienlijk versneld en vereenvoudigd. Het grote probleem van de moderne en exploderende datalakes is dat indexering van ongestructureerde data tijdrovend en complex is. Volgens François Massot is Quickwit op dit vlak tot tien keer sneller dan concurrerende systemen.

Het probleem dat Quickwit oplost, zijn de hoge infrastructuurkosten en de complexiteit van het zoeken naar opslaggegevens. Het indexeren verloopt gewoonlijk traag en ongestructureerde logboekgegevens veroorzaken problemen. Deze problemen nemen toe naarmate de volumes exploderen. Het zijn de technologie georiënteerde en cybersecurity bedrijven waar dit een serieus probleem is. Er zijn op de markt oplossingen zoals Splunk en Elasticsearch helpen in de ogen van François Massot onvoldoende. Hij claimt dat de bewaartijden tijdens de processen te kort zijn, query’s te lang duren en de TCO is lang niet altijd goed te beheren.

Quickwit pakt het hele proces anders aan en biedt een snelle en kosteneffectieve oplossing voor de analyse van loggings. Het systeem is gebouwd met de programmeertaal Rust. Het is stateless en schaalt snel in het petabyte-bereik. Volgens het bedrijf is het tien keer sneller dan concurrerende aanbiedingen.

François Massot verwijst naar een referentie rond cryptocurrency. Daar behaalde de ontwikkelaars met Quickwit een datadoorvoer van 13,4 Gbyte per seconde op een S3 Object Store.

Het bedrijfsmodel is voorlopig open source. Volgend jaar is Quickwit van plan om een commerciële licentie voor ondernemingen aan te bieden en over te stappen op Open Core met enkele componenten voor zakelijke klanten die een licentie vereisen.

Door: Hans Steeman