MorphCut

Suaviza cortes bruscos, elimina palavras de preenchimento e gera vídeos fluidos.

Produto ComumVídeoProcessamento de vídeoSuavização de cortes bruscos
Este produto oferece uma nova estrutura para suavizar cortes bruscos, especialmente em vídeos de conversas. Ele utiliza a aparência do assunto no vídeo, combinando informações de outros quadros-fonte por meio de uma representação intermediária impulsionada por pontos-chave DensePose e marcadores faciais. Para gerar o movimento, ele interpola pontos-chave e marcadores entre os quadros finais ao redor do corte. Em seguida, utiliza uma rede de transformação de imagem para sintetizar pixels a partir dos pontos-chave e quadros-fonte. Como os pontos-chave podem conter erros, propomos um mecanismo de atenção cross-modal para selecionar e escolher a fonte mais adequada para cada ponto-chave. Ao utilizar essa representação intermediária, nosso método pode obter resultados mais robustos do que os benchmarks de interpolação de vídeo fortes. Apresentamos nosso método em vários cortes bruscos em vídeos de conversas, como a remoção de palavras de preenchimento, pausas e até mesmo cortes aleatórios. Nossos experimentos mostram que podemos alcançar transições suaves mesmo em situações desafiadoras, como rotação da cabeça ou movimentos bruscos do interlocutor.
Abrir Site

MorphCut Alternativas