Recentemente, a comunidade Modelers (魔乐社区) lançou oficialmente os modelos multimodais de código aberto Step-Video e Step-Audio, desenvolvidos pela Jieyue Xingchen (阶跃星辰). Esses dois modelos são usados, respectivamente, para geração de vídeo e interação de voz, com o objetivo de fornecer ferramentas de IA mais poderosas para desenvolvedores e empresas.
O modelo Step-Video, com o nome completo Step-Video-T2V, é o maior modelo de geração de vídeo de código aberto do mundo, com 30 bilhões de parâmetros. O modelo consegue gerar diretamente vídeos de alta qualidade com 204 frames e resolução de 540P, superando os principais modelos de vídeo de código aberto existentes no mercado em termos de obediência a instruções, suavidade de movimento, razoabilidade física e estética. Por outro lado, o Step-Audio é o primeiro modelo de linguagem grande do setor capaz de gerar voz com várias emoções, dialetos, idiomas, estilos de canto e estilos personalizados. O lançamento dessa tecnologia marca um avanço importante no campo da interação de voz com IA.
Observação da fonte: A imagem foi gerada por IA, fornecida pela Midjourney.
Vale mencionar que esses modelos são adaptados à arquitetura de computação heterogênea Huawei Ascend CANN e aos servidores Ascend. Desenvolvedores e empresas podem baixar e experimentar esses modelos facilmente na comunidade Modelers. Para reduzir ainda mais a barreira de entrada, a comunidade Modelers também oferece suporte de poder computacional gratuito, permitindo que os usuários realizem inferência de modelos online sem precisar de uma configuração de ambiente complexa, validando rapidamente suas soluções de IA.
Além disso, os modelos de código aberto da Jieyue Xingchen receberam a atenção de várias empresas líderes do setor, incluindo Tianlang Zhixin, Alibaba Cloud, Volcano Engine e TCL, com fabricantes de vários setores ingressando neste ecossistema de código aberto. No futuro, a Jieyue Xingchen planeja lançar um novo modelo de imagem para vídeo em março, enriquecendo ainda mais sua linha de produtos.
Esta colaboração entre a Huawei Ascend e a Jieyue Xingchen não apenas expande os cenários de aplicação de modelos de IA multimodais, mas também fornece ferramentas mais poderosas para desenvolvedores, impulsionando o progresso tecnológico do setor.
