TwelveLabs onthult krachtig videomodel Marengo 3.0 op AWS re:Invent

Menselijk begrip van beeld en geluid

Volgens TwelveLabs onderscheidt Marengo 3.0 zich van concurrenten door video niet te analyseren als een reeks losse beelden (frames), maar als een dynamisch geheel. Het model combineert audio, tekst, beweging en visuele context. Hierdoor is de AI in staat tot 'temporal reasoning': het kan een stukje dialoog verbinden aan een gebaar dat drie minuten later in de video plaatsvindt. Ook emoties, objecten en gebeurtenissen worden door de tijd heen gevolgd.

"Video vormt 90% van de gedigitaliseerde data, maar die data was grotendeels onbruikbaar omdat het mensen te veel tijd kost om te analyseren en machines de context misten," zegt Jae Lee, CEO en medeoprichter van TwelveLabs. "Marengo 3.0 doorbreekt de grenzen van wat mogelijk is. Het lost dit probleem op voor zowel developers als grote ondernemingen."

Sportintelligentie en efficiëntie

Een opvallende nieuwe functie is de specifieke intelligentie voor sportvideo's. Het model kan spelers, rugnummers en specifieke acties traceren, wat het automatisch genereren van hoogtepunten aanzienlijk moet versnellen.

Naast de verbeterde analyse legt TwelveLabs de nadruk op efficiëntie voor bedrijven. Het model zou zorgen voor een vermindering van 50% in opslagkosten en indexeert video's twee keer zo snel als zijn voorganger. Het ondersteunt video's tot vier uur lang en werkt in 36 verschillende talen.

Samenwerking met Amazon AWS

AWS is de eerste cloudprovider die Marengo 3.0 aanbiedt via Amazon Bedrock, een dienst voor het bouwen van generatieve AI-applicaties.

"Het werk van TwelveLabs op het gebied van videobegrip transformeert hoe hele industrieën hun videocontent beheren," aldus Nishant Mehta, VP AI Infrastructure bij AWS. "We brengen ongekende snelheid en efficiëntie naar wat voorheen grotendeels een handmatig proces was."

Marengo 3.0 is vanaf vandaag beschikbaar voor klanten van TwelveLabs en gebruikers van Amazon Bedrock.