Dans les domaines de la réalité virtuelle et du streaming, Nvidia, en collaboration avec l’Université du Maryland, a réalisé une avancée révolutionnaire. Ce modèle d'IA, baptisé QUEEN, permet non seulement aux spectateurs de changer de point de vue à volonté lors d'événements sportifs, mais compresse également chaque scène 3D à seulement 0,7 Mo, tout en maintenant une vitesse de rendu impressionnante de 350 images par seconde.
La clé de cette technologie réside dans son approche unique. La reconstruction traditionnelle de scènes 3D se heurte souvent au dilemme d'un espace de stockage excessif ou d'une qualité d'image médiocre. QUEEN contourne élégamment ce problème. Son algorithme intelligent se concentre sur la capture des parties de l'image qui changent, réutilisant les éléments statiques pour améliorer considérablement l'efficacité du calcul.
Shalini De Mello, responsable de la recherche chez Nvidia, explique l'avantage principal de QUEEN : « Nous avons créé une solution qui équilibre parfaitement le taux de compression, la qualité visuelle, le temps de codage et la vitesse de rendu. » Cet équilibre rend possible la transmission vidéo en temps quasi réel avec un point de vue libre.
Sur le plan technique, QUEEN utilise un cadre innovant de diffusion gaussienne 3D, apprenant les résidus d'attributs gaussiens entre les images successives pour une reconstruction de haute qualité. L'équipe de recherche a également développé un cadre de quantification clairsemé, combinant un latent-decoder et des modules de contrôle spécifiques pour optimiser encore l'efficacité du stockage des données.
Les perspectives d'application de cette technologie sont prometteuses : les amateurs de sport peuvent choisir librement leur angle de vue lors d'une diffusion en direct, les spectateurs de concerts peuvent bénéficier d'une expérience de réalité virtuelle immersive, et les apprenants à distance peuvent choisir l'angle qui leur convient le mieux pour apprendre la cuisine ou l'artisanat. Dans le domaine industriel, elle peut également contribuer à la gestion à distance des entrepôts.
Avec une vitesse de rendu aussi rapide et des effets visuels exceptionnels, QUEEN est en train de redéfinir l'avenir de l'expérience de streaming. Il ne s'agit pas seulement d'un progrès technologique, mais aussi de l'ouverture d'une nouvelle ère pleine de possibilités pour les créateurs et les consommateurs de contenu numérique.
