Alibaba Cloud met à disposition de la communauté open source ses 7 milliards de paramètres Large Language Models (LLM), Qwen-7B et Qwen-7B-Chat. Cela est possible grâce à ses modèles d’IA ModelScope et sa plateforme collaborative d’IA Hugging Face.
Tongyi Qianwen, LLM de Alibaba Cloud, génère du contenu en chinois et en anglais comprenant plus de sept milliards de paramètres. La version open source inclut le modèle pré-entraîné de 7 milliards de paramètres, Qwen-7B, et sa version de conversation affinée, Qwen-7B-Chat.
Afin de démocratiser les technologies d’IA : code, poids et documentation des modèles seront librement accessibles aux universitaires, aux chercheurs et aux entreprises. Pour les utilisations commerciales, les modèles seront gratuits pour les entreprises ayant moins de 100 millions d’utilisateurs actifs mensuels. Les programmes avec plus d’utilisateurs peuvent demander une licence à Alibaba Cloud.
Le Qwen-7B a été pré-formé sur plus de 2000 milliards de tokens, y compris le chinois, l’anglais et d’autres matériaux multilingues, le code et les mathématiques, couvrant les domaines généraux et professionnels. Sa longueur de contexte atteint 8K. En formation, le modèle Qwen-7B-Chat était aligné avec les instructions humaines. Les modèles Qwen-7B et Qwen-7B-Chat peuvent être déployés sur des infrastructures cloud et on-prem. Cela permet aux utilisateurs d’affiner les modèles et de construire leurs propres modèles génératifs de haute qualité de manière efficace et rentable.
“Par l’open-sourcing de nos grands modèles de langage propriétaires, nous visons à promouvoir des technologies inclusives et à permettre à plus de développeurs et de PME de récolter les bénéfices de l’IA générative”, a déclaré Jingren Zhou, directeur technique d’Alibaba Cloud Intelligence. “Nous espérons que cette approche open source peut également apporter une sagesse collective pour aider davantage les communautés open-source à prospérer.”
