Récemment, la communauté Modelers (魔乐社区) a officiellement lancé Step-Video et Step-Audio, deux modèles multimodaux open source développés par Step-Star (阶跃星辰). Ces deux modèles sont respectivement destinés à la génération de vidéos et à l'interaction vocale, visant à fournir aux développeurs et aux entreprises des outils IA plus performants.
Step-Video, dont le nom complet est Step-Video-T2V, est le plus grand modèle open source de génération de vidéo au monde, avec un nombre de paramètres atteignant 30 milliards. Ce modèle est capable de générer directement des vidéos de haute qualité de 204 images et d'une résolution de 540p. Il surpasse les modèles vidéo open source de pointe existants sur le marché en termes d'obéissance aux instructions, de fluidité des mouvements, de cohérence physique et d'esthétique.
Par ailleurs, Step-Audio est le premier modèle de grande envergure du secteur capable de générer de la voix avec diverses émotions, dialectes, langues, styles de chant et styles personnalisés. Le lancement de cette technologie marque une avancée majeure dans le domaine de l'interaction vocale par IA.
Source : Image générée par IA, fournisseur de services d'autorisation d'images : Midjourney
Il est à noter que ces modèles sont adaptés à l'architecture de calcul hétérogène CANN de Huawei Ascend et aux serveurs Ascend. Les développeurs et les entreprises peuvent télécharger et utiliser facilement ces modèles sur la communauté Modelers. Afin de simplifier encore l'utilisation, la communauté Modelers fournit également un support de puissance de calcul gratuit, permettant aux utilisateurs d'effectuer des inférences de modèles en ligne sans avoir besoin d'une configuration d'environnement complexe, et de valider rapidement leurs solutions IA.
De plus, les modèles open source de Step-Star ont attiré l'attention de plusieurs entreprises phares du secteur, notamment Tensens, Alibaba Cloud, Volcano Engine et TCL, qui ont déjà intégré cet écosystème open source. À l'avenir, Step-Star prévoit de lancer un nouveau modèle de génération de vidéo à partir d'images en mars, enrichissant ainsi sa gamme de produits.
Ce partenariat entre Huawei Ascend et Step-Star élargit non seulement les applications des modèles IA multimodaux, mais fournit également aux développeurs des outils plus puissants, stimulant ainsi le progrès technologique de l'ensemble du secteur.
