Recentemente, a equipe de pesquisa da Skywork AI lançou uma nova estrutura de geração de vídeo chamada SkyReels-A2, marcando um novo nível de tecnologia de geração de vídeo controlável. Esta estrutura, chamada de "Elemento para Vídeo (E2V)", pode sintetizar vídeos naturais a partir de prompts de texto, combinando vários elementos visuais (como personagens, objetos e fundos) e mantendo alta consistência com imagens de referência.
O núcleo do SkyReels-A2 reside em seu complexo processo de tratamento de dados. A equipe de pesquisa projetou um pipeline abrangente de construção de dados para gerar tríades contendo prompts, imagens de referência e vídeos, fornecendo assim suporte de dados para o treinamento do modelo. Seu processo de geração ocorre por meio de dois ramos: um ramo de características espaciais e um ramo de características semânticas. O ramo de características espaciais utiliza um autocodificador variacional (VAE) de grão fino para processar cada elemento constituinte, enquanto o ramo de características semânticas utiliza o codificador visual CLIP para extrair informações semânticas mais profundas. Essa estratégia de dois ramos garante que os vídeos gerados estejam de acordo com os prompts de texto e mantenham uma conexão natural entre os elementos.
Além de garantir a diversidade e a alta qualidade do conteúdo do vídeo, o SkyReels-A2 também otimizou o processo de inferência para melhorar a velocidade de geração e a estabilidade da saída. Isso permite que os usuários criem conteúdo de vídeo de nível profissional mais rapidamente. O SkyReels-A2 não é apenas um modelo comercial de código aberto, mas sua aparição também oferece um enorme potencial criativo para áreas como produção cinematográfica e comércio eletrônico virtual.
Finalmente, a equipe de pesquisa também lançou um conjunto de benchmarks de avaliação do sistema, o A2Bench, destinado a avaliar completamente a qualidade dos vídeos gerados. Este benchmark considera não apenas métricas de avaliação automática, mas também avaliações subjetivas do usuário, refletindo de várias maneiras a eficácia da tarefa E2V.
O SkyReels-A2 é, sem dúvida, uma ferramenta que muda o jogo, e esperamos sua ampla aplicação em aplicações criativas, ajudando os criadores de conteúdo a superar os gargalos tecnológicos existentes e a realizar criações mais imaginativas.
Endereço do projeto: https://top.aibase.com/tool/skyreels-a2