Databricks maakt opensource LLM DRBX beschikbaar

DBRX is ontwikkeld door Mosaic AI en getraind op NVIDIA DGX Cloud. Databricks heeft DBRX geoptimaliseerd voor efficiëntie, met een mixture-of-experts-architectuur op basis van het MegaBlocks open source-project. Het resulterende model heeft toonaangevende prestaties en is tot twee keer zo efficiënt in compute-gebruik als andere grote LLM’s.

DBRX zet daarmee een nieuwe standaard neer voor open source modellen, waarmee aanpasbare en transparante generatieve AI mogelijk wordt voor alle organisaties. Uit recent onderzoek van Andreessen Horowitz blijkt dat bijna 60% van AI-leiders oren hebben naar meer open source-gebruik, of erop willen overstappen wanneer gefinetunede open source-modellen de prestaties evenaren van closed source-modellen. Er wordt vanaf dit jaar dan ook een significante beweging van closed source naar open source verwacht. Databricks gelooft dat DBRX deze trend zal versnellen.

Databricks meldt dat DRBX veel andere opensource-modellen overtreft in AI-benchmarks. Zo presteert het model naar verluid beter dan bestaande open source-LLM’s als Llama 2 70B en Mixtral-8x7B, onder meer op gebied van taalbegrip, wiskunde en logica.

DBRX presteert volgens Databricks ook beter dan GPT-3.5 op relevante benchmarks.

Zelf generatieve AI-toepassingen bouwen en implementeren

In combinatie met de tooling van Databricks Mosaic AI helpt DBRX klanten om snel generatieve AI-toepassingen van productiekwaliteit te bouwen en te implementeren die veilig, nauwkeurig en beheersbaar zijn – zonder controle over eigen data en intellectueel eigendom te verliezen. Klanten krijgen daarnaast ingebouwde mogelijkheden voor databeheer, governance, dataherkomst en monitoring tot hun beschikking op het Databricks Data Intelligence Platform.

“Het is bij Databricks altijd al onze visie geweest om data en AI te democratiseren, door data intelligence voor iedere organisatie mogelijk te maken. We helpen om data te analyseren en in te zetten om eigen AI-systemen te bouwen. DBRX is het resultaat van die visie”, zegt Ali Ghodsi, medeoprichter en CEO van Databricks. “Er zijn drie redenen waarom we ontzettend enthousiast zijn over DBRX: het overtreft open source-modellen in state-of-the-art benchmarks; het verslaat GPT-3.5 in de meeste benchmarks, wat de huidige trend kan versnellen om propriëtaire modellen door open source modellen te vervangen; en het maakt tot slot gebruik van een ‘mixture-of-experts’-architectuur, waardoor DBRX zeer kosteneffectief een hoog aantal tokens per seconde verwerkt. Al met al zet DBRX een nieuwe standaard neer voor open-source LLM’s.”

Beschikbaarheid

DBRX is vrij beschikbaar op GitHub en Hugging Face voor onderzoek en commercieel gebruik. Vanaf vandaag kunnen organisaties ook op het Databricks Platform met DBRX werken, gebruikmaken van de long context-mogelijkheden in retrieval augmented generation (RAG)-systemen en eigen DBRX-modellen bouwen op basis van hun eigen data. DBRX is daarnaast beschikbaar op AWS en Google Cloud en op Microsoft Azure via Azure Databricks.

DBRX wordt naar verwachting ook beschikbaar via de NVIDIA API Catalog met ondersteuning van de NVIDIA NIM inferentie-microservice. Lees het technische blog van Mosaic Research voor een gedetailleerde modelevaluatie en prestatiebenchmarks, en om te zien hoe DBRX concurrerend is met de kwaliteit van GPT-4 voor interne use cases zoals SQL. Databricks organiseert een DBRX-webinar op 25 april 2024 om 16:00 uur (8:00 PT).