TD Synnex ziet organisaties worstelen met ‘tokenization’

Het TD Synnex-duo Jochen Bonne (Vice President Advanced Solutions) en Sven Woestyn (Business Unit Manager Data, AI & Applications) ziet dat AI in een andere fase terecht is gekomen. Bonne: “In het begin was iedereen vooral aan het experimenteren. Nu is er veel meer actie. Er ontstaan AI-fabrieken en autonome AI-agents die zelfstandig modeloproepen uitvoeren, informatie verwerken en taken of workflows ondersteunen.” Tegelijkertijd is er volgens hem nóg een belangrijke ontwikkeling gaande. “De hyperscalers en andere AI-aanbieders hebben het kostenmodel veranderd. Er was vaak sprake van een subscriptiemodel, waarbij je voor een bepaald bedrag een abonnement afnam. Deze zomer zijn veel aanbieders overgestapt op het factureren van tokens.”

Onvoorspelbare kosten

Een token is de rekeneenheid van AI. Vergelijkbaar met ‘kilowattuur’ voor energie of ‘byte’ voor dataopslag. Een token kan bijvoorbeeld een woord, een deel van een woord, een leesteken of een stukje code zijn. De hoeveelheid tokens, zowel van de input als de output van het AI-model, bepaalt nu dus steeds vaker de kosten. Bonne: “Je ziet dat intensieve AI-gebruikers enorm veel tokens gebruiken. Dat zorgt voor onvoorspelbare kosten. Het goede nieuws is dat de prijs per token zakt, omdat nieuwe datacenters voor efficiëntere AI zorgen. Maar daartegenover staat dat er veel meer gebruikers zijn. Daarnaast heb je te maken met agents die autonoom werken en bijvoorbeeld dagelijks een rapport genereren. Er is daardoor heel weinig grip op de hoeveelheid tokens die je als organisatie gebruikt.”

Woestyn pleit voor een intern controlemechanisme. “Gebruikers zijn aan het experimenteren met allerlei verschillende AI-tools. Als je als organisatie wilt voorkomen dat de kosten de pan uit rijzen moet je anders omgaan met AI. Er is een bepaalde mate van governance in de eigen organisatie nodig.”

Eigen AI-oplossing

Bonne geeft aan dat het door het veranderende afrekenmodel van de hyperscalers voor organisaties die veel AI gebruiken interessant kan zijn om te kiezen voor een eigen, lokaal draaiende AI-infrastructuur. Daarmee tackel je niet alleen de onvoorspelbare kosten, maar het zorgt ook voor meer controle, meer compliance en een lagere latency. “Als je kiest voor een eigen, soevereine AI-oplossing kun je zelf de kosten onder controle houden. Je kunt ervoor kiezen om alles volledig in een eigen datacenter te laten draaien, maar ook voor een hybride oplossing, waarbij je voor bepaalde taken nog wel gebruik maakt van de sterke infrastructuur van een hyperscaler. We zien de laatste tijd dat steeds meer bedrijven hiernaar kijken." Bij een hybride oplossing kan TD Synnex uitstekend helpen, verduidelijk hij. “Wij kunnen als enige distributeur de drie hyperscalers Microsoft, AWS en Google op ons platform aanbieden.”

Bonne merkt ook dat de zogeheten neoclouds, cloudplatformen die zich uitsluitend richten op het leveren van high-performance en GPU-centrische infrastructuur om AI-workloads te ondersteunen, populair zijn. “Zeker in Nederland zien we die vraag heel sterk opkomen. Steeds meer serviceproviders investeren daar zwaar in.”

Koe bij de horens vatten

Dat organisaties vaak niet goed weten hoe ze met AI om moeten gaan biedt kansen voor partners. Woestyn: “Bij AI komen de werelden van onder andere infrastructuur, datamanagement en security samen. We zien partners uit die hoeken aan de slag gaan met AI, maar er zijn wel verschillen. Datamanagement-partijen gaan over het algemeen heel hard, net zoals de typische ‘New AI kids on the block’. Zij zoeken naar de juiste samenwerkingen om organisaties verder te helpen in hun AI-processen. Het omgaan met tokenization is daar zeker een belangrijk onderdeel van. Ja, er liggen voor partners enorme kansen met AI, maar dan moet je de koe nu wel bij de horens vatten en niet stil blijven zitten. Een deel van de partners is afwachtend en mist daardoor de boot. We zien nog vaak dat organisaties zonder hulp van partners met AI aan de slag gaan.”

Partners ondersteunen

TD Synnex kan partners helpen met het neerzetten van een sterk AI-verhaal. Bonne: “Met Destination AI hebben we een programma waarbij we partners ondersteunen om kennis op te bouwen, bijvoorbeeld over beschikbare tools. We geven ook toegang tot ons complete ecosysteem van onder andere system integrators en neocloud-providers. Alle belangrijke A-merken op AI-gebied zitten bij ons, waaronder NVIDIA, Lenovo, Dell EMC, HPE en IBM, maar ook veel ISV’s met belangrijke niche-oplossingen.”

Woestyn vult hem aan: “We kunnen ook demo-omgevingen aanbieden en partners kunnen een beroep doen op ons Center of Excellence. Daarnaast is er onze tak Professional Services die de projectlevering versnelt en de kans op winstgevende resultaten vergroot. Onze ondersteuning is geen one-size-fits-all. We houden altijd rekening met de volwassenheid van de partner.  We nemen ze mee in een volledig traject, van A tot en met Z, waarbij we goed kijken naar waar ze behoefte aan hebben en waar ze naartoe willen.”

“AI is geen product”, concludeert Bonne. “Het is een samenspel van hardware, software en netwerkoplossingen. Als partner is het belangrijk om te beseffen dat je marge kunt maken door klanten daarbij te ondersteunen. Als je kunt helpen met het onder controle krijgen van AI-tokens en de uitkomsten van AI, dan ga je de relatie met de klant winnen. We zien de marge verschuiven van producten naar platformen, van licenties naar tokens en van transacties naar intelligence as a service.”

Destination AI event

Op 5 november organiseert TD Synnex het event Destination AI. Dat vindt plaats bij InnStyle in Maarssen. Het event leert bezoekers hoe ze AI concreet kunnen maken. Aan de hand van concrete usecases komen onder meer AI-infrastructuur, workplace, on-device AI, security en compliance aan bod. Aanmelden kan via deze site, waarop ook meer informatie te vinden is.