Cloudera heeft de lancering van zijn Cloudera AI Inference-service aangekondigd, die gebruikmaakt van NVIDIA NIM-microservices om de ontwikkeling en implementatie van grootschalige AI-modellen te versnellen. Deze dienst, onderdeel van het NVIDIA AI Enterprise-platform, verhoogt de verwerkingssnelheid van large language models (LLM’s) tot 36 keer met behulp van NVIDIA’s versnelde rekenkracht. Dit verbetert de prestaties, beveiliging en schaalbaarheid van AI-toepassingen, en helpt organisaties hun data optimaal te benutten om generatieve AI (GenAI) van de pilotfase naar operationele inzet te brengen.
De Cloudera AI Inference-service biedt bescherming van gevoelige data door deze binnen de controle van de organisatie te houden, zonder het risico van lekken naar externe modelservices. Deze focus op beveiliging speelt in op zorgen over compliance en governance, die volgens recent onderzoek van Deloitte belangrijke barrières vormen voor de acceptatie van GenAI. Ondanks deze zorgen blijven investeringen in GenAI toenemen, waarbij tweederde van de ondervraagde bedrijven hun budgetten in het derde kwartaal van 2024 hebben verhoogd.
De nieuwe service, ontwikkeld in samenwerking met NVIDIA, richt zich op bedrijven die betrouwbare AI-modellen willen implementeren in zowel on-premise als cloudomgevingen. De integratie van NVIDIA Tensor Core GPU’s versnelt AI-berekeningen aanzienlijk, terwijl de ingebouwde NIM-microservicecontainers de gebruikerservaring vereenvoudigen door af te zien van complexe opdrachtregelinterfaces. Daarnaast biedt de integratie met Cloudera’s AI Model Registry verbeterde governance, waardoor toegang tot modellen eenvoudig kan worden beheerd.
Tot de belangrijkste functies van Cloudera AI Inference behoren verbeterde AI-mogelijkheden voor het optimaliseren van open-source LLM’s zoals LLama en Mistral, hybride cloudverwerking met verbeterde beveiliging, automatische schaalbaarheid en realtime monitoring, en integratie van open API’s met CI/CD-pipelines en MLOps-workflows. Deze functies ondersteunen bedrijven bij het veilig en efficiënt implementeren van AI-modellen.
Volgens analist Sanjeev Mohan biedt Cloudera AI Inference een oplossing voor de toenemende complexiteit van AI-implementaties door robuust databeheer te combineren met de AI-technologie van NVIDIA. Dipto Chakravarty, Chief Product Officer bij Cloudera, benadrukt dat de samenwerking met NVIDIA bedrijven in staat stelt om krachtige AI-toepassingen te ontwikkelen en te implementeren op één platform. Kari Briski van NVIDIA stelt dat de integratie van NVIDIA NIM-microservices bijdraagt aan de eenvoudige ontwikkeling van betrouwbare GenAI-applicaties en tegelijkertijd een zelfvoorzienend AI-ecosysteem creëert.
