A SenseTime lançou oficialmente seu primeiro e revolucionário modelo de geração de vídeo de personagem controlável, o "Vimi".
O Vimi, desenvolvido pela SenseTime com base em sua poderosa capacidade de modelo de IA "Rixin", alcançou uma flexibilidade sem precedentes na geração de vídeo. Ele pode receber diversas entradas, como vídeos de ação, animações de alta qualidade, recursos de áudio ricos e até mesmo descrições de texto, que atuam como elementos de controle para manipular e transformar imagens de personagens, gerando vídeos de personagens que correspondem perfeitamente aos movimentos desejados. Esse processo não apenas demonstra a alta adaptabilidade da tecnologia de IA a cenários complexos, mas também reflete a profunda acumulação da SenseTime em tecnologia de geração de vídeo.
É particularmente digno de nota o excelente desempenho do Vimi em termos de controlabilidade. Ele supera as limitações das tecnologias tradicionais de controle de expressão facial, permitindo não apenas o ajuste preciso das mudanças na expressão facial do personagem, mas também o controle preciso dos movimentos corporais. Essa capacidade inovadora permite que o Vimi gere conteúdo de vídeo lógico e natural. Além disso, o tratamento de detalhes como cabelo, roupas e fundo alcançou um nível de refinamento sem precedentes, com suporte para mudanças naturais de luz e sombra, proporcionando aos espectadores uma experiência visual imersiva.
Em termos de estabilidade e duração da geração de vídeo, o Vimi também demonstra uma capacidade excepcional. Ele pode gerar de forma estável vídeos de personagens de um único plano com até 1 minuto de duração, superando as limitações de duração existentes na geração de vídeo de IA de grandes modelos. Mais importante ainda, à medida que a duração do vídeo aumenta, a qualidade da imagem do vídeo gerado pelo Vimi permanece consistente, sem degradação ou distorção, garantindo a coerência e a alta qualidade do conteúdo do vídeo.
Link para solicitação de experiência: https://www.wjx.cn/vm/mhSxfGv.aspx