Red Hat AI 3.5 geeft meer controle over AI-workloads in hybride cloudomgevingen

Met Red Hat AI 3.5 kunnen organisaties AI-modellen via EvalHub verifiëren voordat deze in gebruik worden genomen. Daarbij wordt gebruikgemaakt van risicogerichte veiligheidsbenchmarks en kunnen compliance-certificeringen worden opgesteld. Nieuwe monitoringsdashboards geven teams bovendien realtime inzicht in de status van de inferentie, het GPU-gebruik en de prestaties van de gebruikte modellen.

Verificatie en evaluatie van modellen

Gevalideerde modellen in de Catalog beschikken over ingebouwde Garak-benchmarkscores, waarmee direct zichtbaar is hoe een model presteert op het gebied van veiligheid. EvalHub automatiseert daarnaast veiligheids- en compliancerapportages voor maatwerkmodellen, RAG-toepassingen en agents.

Voor omgevingen waarin meerdere gebruikers gelijktijdig gebruikmaken van gedeelde GPU-capaciteit, zorgt GPU-scheduling voor een eerlijke verdeling van rekenkracht. Prioriteitsbewuste serving regelt de toegangscontrole en verwerkt binnenkomende opdrachten op basis van prioriteit, zodat realtime inferentie ook bij hoge vraag voorrang krijgt. Achtergrondtaken kunnen ondertussen gebruikmaken van de resterende capaciteit.

Agent-API's en beveiliging

Een nieuwe Responses API en ingebouwde RAG maken het mogelijk dat AI-agents op een uniforme manier langere, meerstaps gesprekken voeren. Geïntegreerde NeMo Guardrails onderscheppen daarbij ongewenste acties van AI-agents.

AutoRAG, met ondersteuning voor pgvector, native AutoML en Inference-Time Scaling, zorgt ervoor dat modellen hun rekenkracht dynamisch afstemmen op de complexiteit van een vraag, waarmee bedrijfsdata beter in AI-toepassingen kan worden verwerkt.

Monitoring en gebruiksinzicht

Het platform bevat tokenmeting per gebruiker, prestatiedashboards voor modellen en agents, visuele agent-tracing via MLflow en dashboards voor GPU-gebruik. Dit moet organisaties volledig inzicht geven in gebruik en operationele prestaties.

Voor snellere ontwikkeling biedt de omgeving agent-templates en starterskits met voorbeeldoplossingen voor toepassingen zoals codereview, documentverwerking en onderzoeksprocessen