Im Bereich Virtual Reality und Streaming haben Nvidia und die University of Maryland einen bahnbrechenden Fortschritt erzielt. Das als QUEEN bezeichnete KI-Modell ermöglicht es Zuschauern nicht nur, die Perspektive bei Sportveranstaltungen nach Belieben zu wechseln, sondern komprimiert auch jede 3D-Szene auf nur 0,7 MB, bei gleichzeitiger beeindruckender Rendergeschwindigkeit von 350 Bildern pro Sekunde.
Der Schlüssel dieser Technologie liegt in ihrer einzigartigen Verarbeitungsweise. Traditionelle 3D-Szenerie-Rekonstruktionen stehen oft vor dem Dilemma zwischen zu großem Speicherbedarf und schlechter Bildqualität. QUEEN löst dieses Problem elegant. Es verwendet intelligente Algorithmen, die sich auf die Erfassung veränderlicher Bildteile konzentrieren, während statische Elemente wiederverwendet werden, was die Rechenleistung erheblich steigert.
Nvidia Forschungsleiterin Shalini De Mello beschreibt den Kernvorteil von QUEEN: „Wir haben eine Lösung geschaffen, die Kompressionsrate, visuelle Qualität, Codierungszeit und Rendergeschwindigkeit perfekt ausbalanciert.“ Dieses Gleichgewicht ermöglicht eine nahezu Echtzeit-Übertragung von frei wählbaren Blickwinkeln.
Auf technischer Ebene verwendet QUEEN ein innovatives 3D-Gauß-Splatting-Framework, das durch das Erlernen von Gauß-Attribut-Residuen zwischen aufeinanderfolgenden Frames eine hochwertige Rekonstruktion ermöglicht. Das Forschungsteam hat außerdem einen quantisierten, spärlichen Rahmen entwickelt, der einen speziellen Latent-Decoder und Gate-Module kombiniert, um die Effizienz der Datenspeicherung weiter zu optimieren.
Die Anwendungsperspektiven dieser Technologie sind vielversprechend: Sportfans können bei Live-Übertragungen frei den Blickwinkel wählen, Konzertbesucher erhalten ein immersives Virtual-Reality-Erlebnis, und Fernunterricht ermöglicht es Lernenden, den für sie optimalen Blickwinkel beim Erlernen von Koch- oder Handwerkstechniken zu wählen. Im Industriebereich kann es die Fernsteuerung und -verwaltung von Lagerhallen unterstützen.
Mit seiner hohen Rendergeschwindigkeit und der hervorragenden visuellen Qualität definiert QUEEN die Zukunft des Streaming-Erlebnisses neu. Dies ist nicht nur ein technologischer Fortschritt, sondern eröffnet auch für digitale Inhaltsersteller und -konsumenten eine Ära voller Möglichkeiten.