Na recente CES, a Stability AI anunciou um método inovador chamado SPAR3D (Stable Point Aware3D), uma tecnologia de geração 3D em duas etapas capaz de gerar objetos 3D precisos a partir de uma única imagem em menos de um segundo. Este lançamento oferece aos desenvolvedores de jogos, designers de produtos e criadores de ambientes uma maneira totalmente nova de projetar protótipos 3D.
O diferencial do SPAR3D é sua capacidade de modelar separadamente as partes visíveis e invisíveis. Ao gerar objetos 3D, o método fornece geometria precisa e uma visualização completa de 360 graus, incluindo detalhes da parte de trás do objeto. Os usuários também podem modificar diretamente os objetos 3D gerados por meio de recursos de edição em tempo real, como excluir, copiar, esticar e recolorir a nuvem de pontos, aumentando significativamente a flexibilidade e a criatividade da operação.
O fluxo de trabalho do SPAR3D pode ser dividido em duas etapas. A primeira etapa usa um modelo de difusão de pontos leve para gerar uma nuvem de pontos 3D esparsa, com uma velocidade de extração de amostra extremamente rápida; a segunda etapa utiliza essas nuvens de pontos e a imagem de entrada para construir um modelo de malha de alta definição. Esse design não apenas aumenta a eficiência computacional, mas também garante a qualidade da saída, superando as limitações dos métodos tradicionais de reconstrução 3D a partir de uma única imagem.
Nos testes de desempenho, o SPAR3D apresentou resultados excelentes nos conjuntos de dados GSO e Omniobject3D, superando vários algoritmos de ponta existentes. A equipe de pesquisa validou a eficácia da tecnologia por meio de vários experimentos, especialmente em relação às vantagens no tratamento de oclusões de imagem e reconstrução de detalhes. O SPAR3D usa explicitamente a nuvem de pontos como representação intermediária, permitindo que os usuários editem ainda mais o modelo 3D, melhorando a experiência do usuário.
Resumo das Funções do SPAR3D:
Capacidade de Geração em Tempo Real
Geração rápida: capaz de gerar a estrutura completa de um objeto 3D a partir de uma única imagem, em menos de um segundo.
Edição eficiente: a conversão da nuvem de pontos editada para a malha final leva apenas 0,3 segundos.
Recursos de Edição Avançados
Edição de nuvem de pontos: os usuários podem operar diretamente na nuvem de pontos, incluindo exclusão, cópia, alongamento e adição de recursos.
Recoloração: oferece a capacidade de ajustar as cores do modelo 3D, aumentando a flexibilidade criativa.
Previsão de Estrutura Precisa
Previsão de estrutura completa: capaz de fornecer geometria precisa e previsão detalhada de visualização de 360 graus, incluindo áreas ocultas.
Saída de alta resolução: gera dados de triplano de alta resolução por meio de um transformador de triplano, capturando a textura e a iluminação da imagem.
Política de Uso Aberta
Licença de uso ampla: suporta uso comercial e não comercial, os usuários podem obter e usar o modelo em várias plataformas.
Amigável para desenvolvedores: os pesos podem ser baixados via Hugging Face, o código está disponível no GitHub ou acessível via API.
Apresentação oficial: https://stability.ai/news/stable-point-aware-3d
Destaques:
🌟 O SPAR3D pode gerar objetos 3D precisos a partir de uma única imagem em um segundo e suporta recursos de edição em tempo real.
🔍 A tecnologia utiliza um método de duas etapas, gerando separadamente a nuvem de pontos e a malha de alta definição, aumentando a eficiência computacional e a qualidade da saída.
🚀 O SPAR3D superou algoritmos de reconstrução 3D existentes em vários conjuntos de dados, demonstrando desempenho excepcional e capacidade de edição do usuário.