Na área de realidade virtual e streaming, a Nvidia, em parceria com a Universidade de Maryland, alcançou um avanço inovador. Este modelo de IA, chamado QUEEN, permite que os espectadores alternem livremente o ângulo de visão em eventos esportivos, comprimindo cada quadro de cena 3D para apenas 0,7 MB, mantendo uma impressionante velocidade de renderização de 350 quadros por segundo.
A chave para essa tecnologia reside em seu método único de processamento. A reconstrução tradicional de cenas 3D costuma enfrentar o dilema entre armazenamento excessivo ou qualidade de imagem ruim. O QUEEN resolve esse problema de forma inteligente. Ele usa um algoritmo inteligente que se concentra em capturar as partes da imagem que estão mudando, reutilizando os elementos estáticos da cena, o que aumenta significativamente a eficiência computacional.
Shalini De Mello, diretora de pesquisa da Nvidia, destaca a principal vantagem do QUEEN: "Criamos uma solução que equilibra perfeitamente taxa de compressão, qualidade visual, tempo de codificação e velocidade de renderização." Esse equilíbrio torna possível a transmissão de vídeo com ponto de vista livre quase em tempo real.
Tecnicamente, o QUEEN utiliza uma inovadora estrutura de dispersão gaussiana 3D, aprendendo os resíduos de atributos gaussianos entre quadros consecutivos para reconstrução de alta qualidade. A equipe de pesquisa também desenvolveu uma estrutura esparsa quantificada, combinada com um latent-decoder e módulos de gate especializados, otimizando ainda mais a eficiência de armazenamento de dados.
As perspectivas de aplicação dessa tecnologia são promissoras: os entusiastas de esportes podem escolher livremente o ângulo de visão durante transmissões ao vivo, os espectadores de concertos podem ter uma experiência de realidade virtual imersiva, e os alunos em aulas remotas podem escolher o ângulo mais adequado para aprender habilidades como culinária ou artesanato. Na indústria, pode auxiliar na gestão remota de armazéns.
Com uma velocidade de renderização tão rápida e efeitos visuais excelentes, o QUEEN está redefinindo o futuro da experiência de streaming. Isso não é apenas um avanço tecnológico, mas também abre uma nova era de possibilidades para criadores e consumidores de conteúdo digital.
