Recentemente, o laboratório de IA da Tencent e o laboratório ARC da Tencent PCG lançaram em conjunto uma nova estrutura chamada StereoCrafter, que pode converter vídeos 2D comuns em vídeos 3D estereoscópicos de alta fidelidade.
Esta inovação atende à crescente demanda por conteúdo 3D, especialmente no campo de experiências imersivas. O StereoCrafter aproveita ao máximo as vantagens dos modelos básicos, superando as limitações dos métodos de conversão tradicionais, melhorando significativamente os resultados gerados e garantindo que o conteúdo gerado atenda aos requisitos de alta fidelidade de vários dispositivos de exibição.
O núcleo do sistema é dividido em duas etapas principais. A primeira etapa é o remapeamento de vídeo baseado em informações de profundidade, extraindo informações de oclusão enquanto realiza a transformação de vídeo; a segunda etapa é a restauração de vídeo estereoscópico. O sistema utiliza um modelo de difusão de vídeo estável pré-treinado como base e introduz um protocolo de ajuste fino para a tarefa de restauração de vídeo estereoscópico. Para lidar com entradas de vídeo de diferentes comprimentos e resoluções, a equipe também explorou estratégias autoregressivas e técnicas de processamento de fatias, garantindo que o sistema possa se adaptar de forma flexível a várias condições de entrada.
Para apoiar o treinamento, a equipe estabeleceu um pipeline complexo de processamento de dados, gerando um conjunto de dados em grande escala e de alta qualidade. Durante a construção do conjunto de dados, a equipe de pesquisa selecionou uma grande quantidade de vídeos estereoscópicos e gerou a profundidade correspondente do vídeo, o vídeo transformado e as informações de oclusão, garantindo que o vídeo da direita sirva como referência real. Esses métodos inovadores fornecem uma solução viável para converter vídeos 2D em vídeos 3D, permitindo que o Apple Vision Pro e outros dispositivos de exibição 3D apresentem experiências imersivas mais impressionantes.
O StereoCrafter não apenas alcançou avanços tecnológicos, mas também trouxe uma mudança potencial na forma como experimentamos mídia digital, podendo mudar a maneira como assistimos e experimentamos conteúdo digital.
Entrada do projeto:https://stereocrafter.github.io/
Destaques:
🌟 O StereoCrafter converte vídeos 2D em vídeos 3D estereoscópicos imersivos de forma eficiente por meio de novas tecnologias.
🖥️ O sistema é dividido em duas etapas principais: reconstrução de vídeo de profundidade e restauração de vídeo estereoscópico, melhorando a qualidade da geração.
📊 A equipe de pesquisa construiu um conjunto de dados de alta qualidade para apoiar o treinamento do algoritmo, garantindo a qualidade da saída.