Les clients de Snowflake peuvent désormais déployer les modèles phares de Meta dans le Data Cloud IA.
La collection Llama 3.1 de grands modèles de langage (LLM) multilingues open source est maintenant disponible dans Snowflake Cortex AI. La collection comprend entre autres, le plus grand et le plus performant LLM open source de Meta, le modèle Llama 3.1 405B. Snowflake développe et rend en open source la stack du système d’inférence et permet une inférence en temps réel et à haut débit, démocratisant ainsi les applications de traitement et de génération de langage naturel.
L’équipe de recherche en intelligence artificielle de Snowflake a optimisé Llama 3.1 405B et a débloqué l’inférence et le fine-tuning open source les plus rapides et les plus efficaces en termes de mémoire avec une prise en charge d’une fenêtre de contexte massive de 128K dès le premier jour. Cette optimisation permet une inférence en temps réel avec une latence jusqu’à 3x plus faible et un débit 1,4 fois plus élevé que les solutions open source existantes. De plus, il est possible de mettre en place un fine-tuning de ce modèle massif en utilisant un seul nœud GPU, réduisant les coûts et la complexité pour les développeurs et utilisateurs dans le cadre de Cortex AI.
Parallèlement au lancement de Llama 3.1 405B, Snowflake met en open source sa stack d’optimisation d’inférence Massive LLM Inference et de Fine-Tuning System, en collaboration avec DeepSpeed, Hugging Face, vLLM et d’autres acteurs de la communauté de l’intelligence artificielle. Cette avancée établit un nouvel état de l’art pour les systèmes d’inférence et de fine-tuning open source pour des modèles comportant plusieurs centaines de milliards de paramètres.
Snowflake Cortex AI renforce son engagement de fournir une IA de confiance et responsable en mettant à disposition Snowflake Cortex Guard pour protéger contre les contenus nuisibles dans toute application LLM ou tout actif construit dans Cortex AI. Cela peut se faire soit en utilisant les derniers modèles de Meta, soit les LLM disponibles auprès d’autres fournisseurs tels que Google, Mistral AI et Snowflake lui-même parmi d’autres. Cortex Guard s’appuie sur le Llama Guard 2 de Meta, assurant ainsi que les modèles utilisés par les entreprises sont sûrs.
En s’associant avec Meta, Snowflake propose à ses clients des moyens simples, efficaces et fiables d’accéder, d’affiner et de déployer les nouveaux modèles de Meta dans le Data Cloud IA, avec une sécurité et une confiance intégrées dès la conception.
