NVIDIA presenteert Nemotron 3.5 Super VL voor gespecialiseerde AI-agents
NVIDIA heeft de release bekendgemaakt van Nemotron 3.5 Super VL, een open en aanpasbaar multimodaal AI-model dat specifiek is ontworpen voor complexe en gespecialiseerde bedrijfsworkflows. Het model maakt gebruik van een zogeheten mixture-of-experts (MoE) architectuur met in totaal 120 miljard parameters, waarvan er 12 miljard actief worden gebruikt per token. Hierdoor combineert het systeem verhoogde capaciteit met efficiënte verwerking.
Met Nemotron 3.5 Super VL brengt NVIDIA functies zoals redeneervermogen, het opvolgen van instructies en tool-gebruik samen met de verwerking van tekst, afbeeldingen, documenten en video binnen één enkel model. Dit neemt de noodzaak weg om afzonderlijke tekst- en visuele modellen te combineren en data tussen verschillende systemen uit te wisselen. Op een enkele GPU levert het model tot vijf keer meer doorvoer voor agentic taken in vergelijking met andere open modellen in dezelfde grootteklasse.
Praktijktoepassingen en maatwerk
Organisaties in diverse sectoren hebben het model inmiddels aangepast met behulp van de NVIDIA NeMo-bibliotheken om hun eigen processen te automatiseren. Zo trainde Scale AI het model voor kredietverwerking bij Skydance Corporation, wat leidde tot een veertigvoudige verlaging van de inferentie-kosten en een vijfmaal zo lage vertraging. Het financiële platform Ramp zet het model in om bonnen om te zetten in gestructureerde data, waarbij de doorvoer tot 50 procent hoger ligt. Beveiligingsbedrijf AI21 rapporteerde een verhoging van 41 procent in nauwkeurigheid bij het analyseren van kwetsbaarheden.
Om maatwerk verder te ondersteunen stelt NVIDIA op Hugging Face diverse open datasets beschikbaar. Deze omvatten onder meer gegevens voor conversaties, financieel redeneren, tool-gebruik en 40 specifieke vision-language datasets. Ontwikkelaars kunnen de gewichten van het model lokaal, in datacenters of in de cloud uitrollen.
Optimalisaties voor inferentie
Onder de motorkap is Nemotron 3.5 Super VL gedistilleerd uit Nemotron 3 Ultra. Het model is uitgerust met geavanceerde technieken om de efficiëntie tijdens de uitvoering te verhogen. Zo maakt het gebruik van LiLiCorr, een open technologie voor speculatieve decoding die generaties snelheden tot 2,3 keer verhoogt op platforms zoals NVIDIA DGX Spark.
Daarnaast past het model NVFP4-quantisatie toe met 4-bit gewichten en activaties op de NVIDIA Blackwell-architectuur, aangevuld met multi-token prediction en prefix-caching voor het hergebruik van context tijdens langdurige interacties.
Voor productie-omgevingen wordt het model aangeboden via NVIDIA NIM microservices en NVIDIA Dynamo, waarmee gedistribueerde inferentie kan worden opgeschaald naar grotere aantallen gelijktijdige gebruikers.
Meer over ai
Over Witold Kepinski
