TANGO, uma solução poderosa que se aproxima do HeyGen. Este projeto inovador não apenas suporta sincronização facial e labial, mas, o que é ainda mais impressionante, ele consegue gerar vídeos de corpo inteiro com movimentos perfeitamente sincronizados com o áudio.
A principal vantagem do TANGO reside em sua lógica de geração única. Primeiro, o sistema analisa amostras de vídeos curtos fornecidos pelo usuário, construindo um "atlas de movimentos" que contém várias poses corporais e transições de movimentos.
Em seguida, ele seleciona a melhor sequência de movimentos com base no conteúdo de áudio inserido. Finalmente, criando quadros de transição suaves, ele gera um vídeo de movimento natural e realista. Este método permite que o TANGO gere uma quantidade ilimitada de vídeos de movimentos corporais completos correspondentes ao áudio, a partir de apenas alguns segundos de vídeo de amostra.
A base tecnológica do projeto TANGO está nos algoritmos de incorporação de movimento de áudio hierárquico e interpolação de difusão. Essas tecnologias avançadas permitem que o sistema compreenda com precisão as características da fala no áudio e as converta em gestos correspondentes.
Ao mesmo tempo, a técnica de interpolação de difusão garante transições suaves entre os movimentos, evitando mudanças bruscas e melhorando significativamente a aparência geral do vídeo.
Para desenvolvedores e entusiastas de tecnologia, a natureza de código aberto do TANGO é sem dúvida um grande atrativo. Ele oferece amplo espaço para inovação e melhorias futuras. Por exemplo, combinando-o com projetos de sincronização labial de código aberto como o LivePortrait do Kuaishou, os desenvolvedores podem criar sistemas de geração de vídeo de IA mais completos e realistas.
As perspectivas de aplicação do TANGO são vastas. Para educadores, criadores de conteúdo e até mesmo usuários comuns, o TANGO oferece uma interface simples e fácil de usar. Os usuários só precisam enviar um arquivo de áudio para gerar o vídeo de gestos correspondente, simplificando enormemente o processo de produção de vídeo e tornando a criação mais fácil e eficiente.
No entanto, também precisamos reconhecer que, embora o TANGO tenha feito avanços inovadores na geração de movimentos corporais completos, projetos de código aberto semelhantes ao HeyGen ainda têm limitações em certos aspectos. A maioria dos projetos suporta principalmente sincronização facial e labial, enquanto a geração de movimentos corporais em maior escala ainda precisa de melhorias.
Endereço do projeto: https://pantomatrix.github.io/TANGO/