Pesquisadores do Instituto Federal de Tecnologia de Zurique (ETH Zurich) alcançaram uma inovação na estimativa de profundidade monocular através da modificação do modelo de código aberto Stable Diffusion Marigold. O modelo, sem necessitar de dados de treinamento de imagens de profundidade reais, alcançou desempenho excepcional através do ajuste fino do módulo U-Net de desruído. Treinado com dados sintéticos, o Marigold consegue aprender uma ampla gama de cenários, melhorando sua capacidade de generalização em conjuntos de dados não vistos anteriormente. A ideia central da tecnologia é utilizar o conhecimento prévio do Stable Diffusion, empregando um método de estimativa de profundidade invariante afim para eliminar os erros de estimativa de profundidade causados pela incerteza dos parâmetros intrínsecos da câmera.
Modelo Marigold de código aberto: Inovação em estimativa de profundidade monocular que modifica o Stable Diffusion

AIGC开放社区
Este artigo é do AIbase Daily
Bem-vindo à coluna [AI Daily]! Este é o seu guia para explorar o mundo da inteligência artificial todos os dias. Todos os dias apresentamos os destaques da área de IA, com foco nos desenvolvedores, para o ajudar a obter insights sobre as tendências tecnológicas e a compreender as aplicações inovadoras de produtos de IA.