Snowflake werkt samen met Meta aan het hosten en optimaliseren van een nieuwe flagship model-familie in Snowflake Cortex AI. Het AI-onderzoeksteam van Snowflake heeft, in samenwerking met de open source-gemeenschap, een Massive LLM Inference and Fine-Tuning System Stack gelanceerd. Dit systeem biedt open source inferentie- en fine-tuningoplossingen voor modellen met honderden miljarden parameters, waaronder Meta’s Llama 3.1 405B.
Snowflake, gespecialiseerd in AI Data Cloud, kondigde aan dat het de meertalige open source Large Language Models (LLM’s) uit de Llama 3.1-collectie zal hosten in Snowflake Cortex AI. Dit stelt bedrijven in staat krachtige AI-toepassingen op schaal te ontwikkelen en te gebruiken. Snowflake ontwikkelt een inferentiesysteem-stack die real-time, high-throughput inferentie mogelijk maakt en geoptimaliseerd is voor zowel inferentie als fine-tuning. De Llama 3.1 405B ondersteunt een contextvenster van 128K en biedt lagere latentie en hogere doorvoer dan bestaande oplossingen. Bovendien is fine-tuning mogelijk met slechts één GPU-node, waardoor kosten en complexiteit worden verminderd.
De samenwerking met Meta moet klanten een eenvoudige en efficiënte toegang bieden tot de nieuwste modellen van Meta, met een focus op veiligheid en betrouwbaarheid. Vivek Raghunathan, VP AI Engineering bij Snowflake, benadrukt dat het AI-onderzoeksteam van Snowflake bedrijven en de open source-gemeenschap helpt om state-of-the-art open modellen zoals Llama 3.1 405B te benutten voor inferentie en fine-tuning.
Snowflake’s AI-onderzoeksteam blijft innoveren binnen de open source-gemeenschap door bij te dragen aan AI-onderzoek en het ontwikkelen van nieuwe technologieën. De Massive LLM Inference and Fine-Tuning System Optimization Stack, ontwikkeld in samenwerking met DeepSpeed, Hugging Face, vLLM en anderen, stelt gebruikers in staat om grootschalige modellen efficiënt te gebruiken zonder de noodzaak van complexe infrastructuur. Deze stack biedt hoge prestaties en ondersteunt lange contexten, wat essentieel is voor diverse AI-toepassingen op bedrijfsniveau.
Naast inferentie en fine-tuning biedt Snowflake geoptimaliseerde infrastructuur voor modeldistillatie, veiligheidsrails, retrieval augmented generation (RAG) en synthetische datageneratie. Snowflake Cortex AI zorgt ervoor dat bedrijven veilig en verantwoord AI kunnen inzetten, ondersteund door Snowflake Cortex Guard, dat bescherming biedt tegen schadelijke inhoud.
