Recentemente, uma equipe de pesquisa da Universidade de Pequim e do Laboratório Pengcheng lançou uma nova estrutura de geração de cenas 3D chamada HoloDreamer, projetada para gerar cenas 3D imersivas e completas a partir de descrições de texto do usuário.
Esta estrutura inclui dois módulos principais: primeiro, a "geração panorâmica isométrica estilizada", capaz de gerar panoramas de alta qualidade com base nas instruções do usuário; e segundo, a "reconstrução panorâmica em duas etapas aprimorada", que reconstrui rapidamente o panorama usando a técnica de pulverização gaussiana 3D, garantindo a consistência da perspectiva da cena gerada.
Entrada do projeto: https://top.aibase.com/tool/holodreamer
Atualmente, a demanda por geração de cenas 3D está crescendo rapidamente nas indústrias de realidade virtual, jogos e cinema. Com a ajuda de poderosos modelos de difusão de texto para imagem, tornou-se possível gerar cenas 3D usando descrições de texto simples. Este avanço inovador impulsionará a pesquisa de geração de cenas 3D impulsionada por texto.
Métodos anteriores geralmente usavam a expansão de imagens para gerar cenas, um método que pode levar à falta de consistência e completude da cena. O HoloDreamer, por outro lado, gera panoramas de alta definição como base para a inicialização de toda a cena 3D e, em seguida, usa a técnica de pulverização gaussiana 3D para reconstruir rapidamente a cena 3D, gerando assim uma cena 3D completa e com perspectiva consistente.
Especificamente, o módulo de "geração panorâmica isométrica estilizada" da estrutura combina vários modelos de difusão para gerar panoramas estilizados e detalhados com base em prompts de texto complexos. Ao mesmo tempo, a estrutura também emprega uma técnica de mistura cíclica para evitar rachaduras durante a rotação panorâmica. Em seguida, o módulo de "reconstrução panorâmica em duas etapas aprimorada" realiza a estimativa de profundidade e projeta os dados RGBD para obter informações de nuvem de pontos.
Usando dois tipos de câmeras preparadas em diferentes cenários, a equipe de pesquisa pode supervisionar o conjunto de imagens em diferentes estágios da otimização da pulverização gaussiana 3D, otimizando assim a cena reconstruída final.
Após experimentos abrangentes, o HoloDreamer superou os resultados de pesquisas anteriores em termos de consistência visual, harmonia, qualidade de reconstrução e robustez de renderização. Esta estrutura inovadora promete desempenhar um papel importante em uma variedade de aplicações futuras, proporcionando experiências de cena 3D mais ricas.
Destaques:
🌟 HoloDreamer é uma nova estrutura de geração de cenas 3D que gera cenas 3D completas a partir de descrições de texto.
🖼️ A estrutura inclui dois módulos: geração panorâmica estilizada e reconstrução panorâmica aprimorada, garantindo alta qualidade e consistência nos resultados gerados.
🚀 O HoloDreamer apresentou desempenho superior em experimentos, superando métodos de geração 3D anteriores e oferecendo novas soluções para realidade virtual e jogos.