Ce modèle génératif sert aussi bien à analyser des documents vidéos et audio qu’à générer des résumés de texte.
Alibaba Cloud, la branche data intelligence et technologie numérique d’Alibaba Group, annonce que son modèle linguistique (LLM), Tongyi Qianwen, est intégré à son assistant IA appelé Tongyi Tingwu. Cet assistant permet la conversion de la parole et des vidéos en texte en temps réel, dans le but d’améliorer la productivité personnelle et professionnelle.
En exploitant les modèles audio et vidéo exclusifs développés par l’institut de recherche DAMO d’Alibaba Cloud – y compris le modèle de reconnaissance vocale Paraformer et le modèle de vérification du locuteur CAM++, ainsi que le nouveau LLM Tongyi Qianwen – Tingwu peut transcrire des contenus multimédias avec une plus grande précision tout en permettant de nombreuses fonctions alimentées par l’IA. Il peut aussi capturer des points clés de chaque orateur et la création d’une chronologie de fichiers multimédias avec un résumé de chaque section.
Tongyi Tingwu sera également intégré à DingTalk, la plateforme de communication et de collaboration d’entreprise d’Alibaba Cloud. Outre l’amélioration de l’efficacité au travail, Tongyi Tingwu peut également être utilisé sur diverses plateformes multimédias, répondant ainsi aux besoins croissants d’un partage plus rapide et plus facile des connaissances dans les domaines de l’éducation en ligne, de la formation, des interviews, du livestreaming, des podcasts et des vidéos de courte durée.
D’autres fonctions d’IA offertes par Tongyi Tingwu seront disponibles dans le courant de l’année. Ces fonctions comprennent la compilation automatique de réponses textuelles aux questions des utilisateurs dans les fichiers audio/vidéo, la génération d’un résumé à partir de diapositives PowerPoint extraites de vidéos, et la traduction en temps réel entre l’anglais et le chinois pour les contenus multimédias avec Tongyi Tingwu en tant que plugin Chrome.
Alibaba Cloud a également lancé le “Tongyi Qianwen Partnership Program”, qui vise à co-créer de grands modèles de langage adaptés à différentes industries avec des partenaires de divers secteurs, notamment la pétrochimie, l’énergie, les transports, l’hôtellerie, les services d’entreprise, les télécommunications et la finance.
“Nous vivons à une époque où une quantité croissante de contenu vidéo et audio est consommée chaque jour dans différents formats. Dans cette optique, Tongyi Tingwu vise à utiliser le grand modèle linguistique pour faciliter une compréhension plus rapide et meilleure ainsi qu’un partage plus facile du contenu multimédia”, a déclaré Jingren Zhou, directeur technique d’Alibaba Cloud Intelligence. “Alors que nous intégrons progressivement le modèle Tongyi Qianwen dans nos produits et services, nous espérons que les utilisateurs pourront tirer profit de ces innovations convaincantes en matière d’IA pour leur travail, leurs études, leurs loisirs et leurs interactions les uns avec les autres.”
