Alibaba Cloud, la branche intelligence des données et technologie numérique du groupe Alibaba, a annoncé le lancement de deux grands modèles de langage (LLM) : Qwen-72B et Qwen-1.8B. Ces modèles sont dérivés respectivement du modèle de base exclusif de Alibaba Cloud, Tongyi Qianwen, et comprennent 72 milliards et 1,8 milliard de paramètres. Ces versions sont accessibles sur ModelScope, la communauté de modèles d’IA d’Alibaba Cloud, et sur la plateforme d’IA collaborative Hugging Face.
Alibaba Cloud propose divers LLM multimodaux, tels que Qwen-Audio, un modèle pré-entraîné pour la compréhension audio, et Qwen-Audio-Chat, sa version conçue pour les conversations. Ces modèles sont destinés à la recherche et aux applications commerciales. Qwen-Audio est équipé pour interpréter une variété de contenus, incluant du texte et des fichiers audio dans différents formats, couvrant la parole humaine, les sons naturels et la musique, pour ensuite générer du texte. Il est capable d’effectuer plus de 30 tâches de traitement audio telles que la transcription dans plusieurs langues, l’amélioration vocale, l’analyse des sous-titres audio, entre autres. Sa version conversationnelle, Qwen-Audio-Chat, peut prendre en charge plusieurs séries de questions-réponses basées sur l’audio et effectuer diverses tâches orientées vers l’audio, telles que la détection des émotions et des tonalités dans les discours humains.
À ce jour, Alibaba Cloud a fourni des LLM de différentes tailles, avec des paramètres allant de 1,8 milliard, 7 milliards, 14 milliards à 72 milliards, ainsi que des LLM multimodaux avec des fonctions de compréhension audio et visuelle. Entraîné sur une base de plus de 3 milliards de mots, le modèle à 72 milliards de paramètres surpasse les critères de performance pour évaluer les capacités d’un modèle. Il dépasse notamment le test Massive Multi-task Language Understanding (MMLU), qui mesure la précision multitâche, ainsi que HumanEval pour évaluer la génération de code. Il excelle également dans GSM8K, un test de référence pour les problèmes arithmétiques, par exemple.
Qwen-72B démontre sa capacité à aborder une variété de tâches complexes, comme le jeu de rôle et le transfert de style linguistique. Ce dernier aspect met en évidence la compétence du LLM à endosser un rôle ou un personnage spécifique, permettant ainsi de générer des réponses plus pertinentes sur le plan contextuel et cohérentes avec le personnage. Ces caractéristiques peuvent être précieuses dans des applications d’intelligence artificielle, notamment pour des chatbots personnalisés.
Alibaba Cloud a annoncé la mise à disposition des 1,8 milliard de paramètres de son LLM pouvant fonctionner sur différents appareils. Plus léger, il permet l’inférence sur des appareils périphériques disposant de capacités de calcul restreintes. Il pourra être déployé sur des appareils finaux tels que les téléphones portables La version plus compacte, nécessitant moins de ressources informatiques, peut être utile à ceux cherchant une solution plus abordable et plus facile à mettre en place pour utiliser les LLM.
Le modèle Qwen-1.8B est actuellement destiné uniquement à des fins de recherche.
Cette nouvelle initiative d’Alibaba Cloud vise à fournir à la communauté open-source des modèles de langage multimodaux capables de traiter des données autres que du texte. En début d’année, Alibaba Cloud a dévoilé son modèle de langage à grande échelle pour la vision, Qwen-VL, ainsi que sa version pour les conversations, Qwen-VL-Chat. Ces langages à grande échelle peuvent comprendre des informations visuelles et effectuer des tâches liées à la vision.
“La mise en place d’un écosystème open-source est cruciale pour favoriser le développement des LLM et construire des applications d’IA. Nous aspirons à devenir le cloud le plus accessible et à offrir des fonctionnalités d’IA générative à tous”, a déclaré Jingren Zhou, directeur technique d’Alibaba Cloud. “Pour atteindre cet objectif, nous continuerons à partager nos avancées technologiques et à soutenir le développement de la communauté open-source avec nos partenaires.”
