Introductie OpenSearch 3.2: AI-gestuurde zoekopdrachten en snelle analyses
Het OpenSearch-project heeft de release van versie 3.2 aangekondigd. Deze update introduceert een reeks nieuwe functies en verbeteringen, gericht op het verder verbreden van de mogelijkheden voor zoekfuncties, observatie, en AI-toepassingen. De focus ligt op het verbeteren van prestaties en schaalbaarheid, met name door de efficiëntie van indexing en zoekopdrachten te vergroten.
OpenSearch 3.2 brengt significante verbeteringen aan het 'approximation framework', wat de prestaties van zoekopdrachten ten goede komt. Een opvallende optimalisatie is de verbeterde ondersteuning voor search_after-queries, die essentieel zijn voor het efficiënt doorbladeren van grote datasets. In benchmarks toonde dit een drastische verlaging van de latentie, van 185 ms tot slechts 8 ms in sommige gevallen. Dit versnelt de reactiesnelheid van gepagineerde zoekresultaten en dashboards.
Daarnaast is de functionaliteit van de gRPC-transportlaag nu algemeen beschikbaar (GA), wat een efficiënter en sneller alternatief biedt voor de bestaande REST API's. Het gebruik van 'Protocol Buffers' (Protobufs) zorgt voor kleinere datapakketten, wat de prestaties verbetert bij taken met een hoge doorvoer, zoals de 'bulk ingestion' van documenten en k-NN-zoekopdrachten.
Verbeteringen in de Vector Database en AI
De nieuwe versie breidt ook de mogelijkheden van de vector database uit, een cruciale component voor generatieve AI. De 'GPU indexing' ondersteunt nu meer vectortypes (FP16, byte en binary), die minder geheugen verbruiken en de prestaties van AI-toepassingen aanzienlijk verbeteren.
Voor ontwikkelaars van AI-oplossingen zijn er twee belangrijke toevoegingen:
- Plan-execute-reflect agents (GA): Deze AI-agenten kunnen nu autonoom complexe taken uitvoeren door te plannen, te reflecteren en de strategie iteratief te verbeteren. Ze zijn nu algemeen beschikbaar.
- Agentic Search (experimenteel): Een experimentele nieuwe zoekopdracht die natuurlijke taalvragen omzet in OpenSearch DSL (Domain Specific Language) met behulp van AI-agenten. Dit maakt het mogelijk om te zoeken met complexe, menselijke vragen zonder handmatige codering.
Ook introduceert OpenSearch 3.2 'Agentic Memory' (experimenteel), waarmee AI-agenten kunnen leren van eerdere interacties en gepersonaliseerde hulp kunnen bieden over meerdere sessies.
Snelle analyse en observatie
Op het gebied van observatie introduceert de update een betere compatibiliteit met OpenTelemetry, een belangrijke stap naar een gestandaardiseerde, vendor-neutrale benadering van telemetriegegevens. De 'Trace Analytics plugin' verwerkt nu gegevens die voldoen aan de OpenTelemetry-standaard, wat de integratie met andere tools vergemakkelijkt.
Tot slot zijn er belangrijke prestatieverbeteringen doorgevoerd in de 'Piped Processing Language (PPL)', wat resulteert in snellere en flexibelere query's voor analyses. Dit is van groot belang voor bedrijven die grote hoeveelheden log- en analysegegevens.
Meer over Open Source
Over Witold Kepinski
