En los campos de la realidad virtual y el streaming, Nvidia, en colaboración con la Universidad de Maryland, ha logrado un avance revolucionario. Este modelo de IA, denominado QUEEN, no solo permite a los espectadores cambiar el ángulo de visión a voluntad durante eventos deportivos, sino que también comprime cada fotograma de la escena 3D a tan solo 0.7 MB, manteniendo una asombrosa velocidad de renderizado de 350 fotogramas por segundo.
La clave de esta tecnología radica en su singular método de procesamiento. La reconstrucción tradicional de escenas 3D suele enfrentarse a la disyuntiva entre un gran espacio de almacenamiento o una baja calidad de imagen. QUEEN resuelve este problema inteligentemente. Emplea un algoritmo inteligente que se centra en capturar las partes de la imagen que cambian, reutilizando los elementos estáticos de la escena, lo que aumenta considerablemente la eficiencia del cálculo.
Shalini De Mello, directora de investigación de Nvidia, destaca la principal ventaja de QUEEN: "Hemos creado una solución que equilibra perfectamente la tasa de compresión, la calidad visual, el tiempo de codificación y la velocidad de renderizado". Este equilibrio permite la transmisión de video con puntos de vista libres casi en tiempo real.
A nivel técnico, QUEEN utiliza un innovador marco de dispersión gaussiana 3D, aprendiendo los residuos de atributos gaussianos entre fotogramas consecutivos para lograr una reconstrucción de alta calidad. El equipo de investigación también ha desarrollado un marco de cuantificación disperso, que combina un latent-decoder y un módulo de puerta especializado, optimizando aún más la eficiencia del almacenamiento de datos.
Las perspectivas de aplicación de esta tecnología son prometedoras: los aficionados al deporte podrán elegir libremente el ángulo de visión durante las transmisiones en directo; los asistentes a conciertos podrán disfrutar de una experiencia de realidad virtual inmersiva; y en la enseñanza a distancia, los alumnos podrán optar por la perspectiva más adecuada para aprender habilidades como cocina o artesanía. En el ámbito industrial, puede contribuir a la gestión remota de almacenes.
Con una velocidad de renderizado tan rápida y unos efectos visuales excelentes, QUEEN está redefiniendo el futuro de la experiencia de streaming. No se trata solo de un avance tecnológico, sino que abre una nueva era llena de posibilidades para los creadores y consumidores de contenido digital.
