Motion-I2V
Uma estrutura de geração de imagem para vídeo controlável.
Produto ComumImagemGeração de imagemGeração de vídeo
Motion-I2V é uma estrutura inovadora para geração de imagem para vídeo (I2V) consistente e controlável. Diferentemente de métodos anteriores que aprendem diretamente o mapeamento complexo de imagem para vídeo, o Motion-I2V decompõe o I2V em duas etapas, empregando modelagem de movimento explícita. Na primeira etapa, propomos um preditor de campo de movimento baseado em difusão, focado na inferência de trajetórias de pixels da imagem de referência. Na segunda etapa, propomos uma atenção temporal aprimorada por movimento para aprimorar a atenção temporal unidimensional limitada no modelo de difusão latente de vídeo. Este módulo pode propagar eficazmente as características da imagem de referência para os quadros sintéticos sob a orientação das trajetórias previstas na primeira etapa. Em comparação com os métodos existentes, o Motion-I2V gera vídeos mais consistentes, mesmo na presença de grandes movimentos e mudanças de perspectiva. Ao treinar uma rede de controle de trajetória esparsa para a primeira etapa, o Motion-I2V permite que os usuários controlem com precisão as trajetórias de movimento e as regiões de movimento, com capacidade de controle de trajetórias e anotações de regiões esparsas. Isso é mais controlável do que depender apenas de descrições de texto. Além disso, a segunda etapa do Motion-I2V suporta naturalmente a conversão de vídeo para vídeo de amostra zero. Comparações qualitativas e quantitativas mostram que o Motion-I2V supera métodos anteriores na geração consistente e controlável de imagem para vídeo.
Motion-I2V Situação do Tráfego Mais Recente
Total de Visitas Mensais
1028
Taxa de Rejeição
43.70%
Média de Páginas por Visita
1.6
Duração Média da Visita
00:00:26