Databricks optimaliseert AI-zoeklaag voor data-agents

Binnen zakelijke data-agents — zoals Genie Code van Databricks — is de snelheid en nauwkeurigheid van de zoeklaag cruciaal. Agents moeten binnen grote en continu veranderende IT-omgevingen snel de juiste tabellen, documenten, dashboards en code-notebooks vinden. Traditionele eenvoudige zoekopdrachten schieten bij complexe vragen vaak tekort, terwijl langdurige, stapsgewijze zoekprocessen (sequential search) leiden tot hoge wachttijden en extra rekenkosten.

Adaptief zoeken met harde vertragingsgrenzen

Het nieuw ontwikkelde Adaptive Instructed-Retriever brengt hier verandering in door op basis van de vraagstelling dynamisch te bepalen hoeveel zoekstappen nodig zijn. Bij eenvoudige opdrachten stopt het model direct zodra voldoende bewijs is gevonden. Bij complexere vraagstukken gebruikt het model extra opeenvolgende zoekstappen, gebonden aan een strikt ingestelde limiet.

Binnen benchmarktests behaalde het model een gemiddelde responstijd van 5,8 seconden. Daarmee is de oplossing ruim twee keer sneller dan grote commerciële en opensource-modellen, zonder in te boeten op de nauwkeurigheid van het opgehaalde bewijsmateriaal.

Getraind met Online Reinforcement Learning via AIR

Om de balans tussen zoekkwaliteit en vertraging (latency) te optimaliseren, trainde het onderzoeksteam een compact, gespecialiseerd model op basis van de AI Runtime (AIR)-infrastructuur van Databricks. Binnen dit trainingsproces werd gebruikgemaakt van Online Reinforcement Learning (ORL) via de zogeheten CISPO-optimalisatiemethode.

Het model ontvangt tijdens de training een beloning wanneer extra zoekstappen aantoonbaar betere resultaten opleveren, maar wordt financieel en rekenkundig belast (step penalty) voor overbodige vervolgstappen. Door deze straffactor te variëren, kan Databricks verschillende varianten van het model opleveren: van ultrasnelle versies voor interactief gebruik tot grondigere varianten voor complexe, offline data-analyses.

Praktische bouwsteen voor zakelijke data-agents

Met de introductie biedt Databricks een efficiënte bouwsteen voor AI-agents die grote hoeveelheden enterprise-data moeten doorzoeken. Het model laat zien dat kleine, gespecialiseerde AI-modellen voor specifieke taken kunnen tippen aan de prestaties van grote, algemene modellen, terwijl de operationele kosten en de verwerkingstijd drastisch worden teruggebracht. De onderliggende trainingsmethodiek via AI Runtime wordt tevens beschikbaar gesteld aan klanten van Databricks om eigen domeinspecifieke zoekmodellen te bouwen.