Recentemente, a Alibaba lançou sua mais recente conquista tecnológica, o Animate Anyone2, uma tecnologia inovadora que permite a substituição precisa de personagens em vídeos. De acordo com os exemplos apresentados no site oficial do projeto, os usuários precisam apenas fornecer o vídeo original e a imagem do personagem de destino, e o sistema poderá substituir a imagem do personagem em tempo real, mantendo a trajetória de movimento original do vídeo.
Dados experimentais mostram que o sistema pode transferir completamente a ação de um jogador de futebol chutando a bola para um personagem de animação, mantendo as características físicas reais da trajetória da bola. Para atender às necessidades complexas da produção de filmes, o sistema também suporta ajuste personalizado de iluminação e adaptação do ambiente de fundo, permitindo uma integração profunda entre o personagem e o cenário.
A tecnologia de vinculação dinâmica de esqueleto integrada ao sistema, rastreando precisamente 28 pontos ósseos-chave do corpo humano, permite capturar com precisão a trajetória de movimento dos membros e as microexpressões faciais. Em vídeos de testes públicos, seja a rotação contínua de um bailarino ou os movimentos rápidos de artes marciais, o personagem substituído mantém a fluidez dos movimentos.
Em termos técnicos, o sistema emprega uma estratégia de máscara independente da forma, que descreve de forma mais eficaz a relação entre o personagem e o ambiente. Ao mesmo tempo, para melhorar a interação entre o personagem e os objetos ao redor, o Animate Anyone2 introduziu um orientador de objetos leve. Este orientador é responsável por extrair as características dos objetos que interagem com o personagem e, através da tecnologia de fusão espacial, injetar essas características no processo de redução de ruído. Este design faz com que a interação do personagem com o ambiente e os objetos durante o movimento pareça mais fluida e realista.
Os resultados experimentais mostram que o Animate Anyone2 tem um desempenho excelente na geração de animações de personagens com adaptação ambiental. Em comparação com produtos semelhantes no mercado, como Viggle e MIMO, o Animate Anyone2 demonstra um nível superior em termos de consistência do personagem, preservação de detalhes e realismo da interação. Isso marca um novo avanço no desenvolvimento da tecnologia de animação de personagens.
Com o lançamento do Animate Anyone2, o potencial de aplicação da animação de personagens em vários campos, como jogos, produção cinematográfica e realidade virtual, é ainda maior. Não apenas fornece aos animadores ferramentas mais poderosas, mas também oferece aos espectadores uma experiência visual mais vívida e realista.
Projeto:https://humanaigc.github.io/animate-anyone-2/
Destaques:
🌍 O Animate Anyone2 captura as características do ambiente para alcançar uma interação realista entre o personagem e o ambiente.
🎨 A nova tecnologia introduz um orientador de objetos e fusão espacial, melhorando o efeito de interação entre o personagem e os objetos.
🚀 Em comparação com tecnologias semelhantes, o Animate Anyone2 apresenta vantagens significativas em detalhes e consistência.