Im digitalen Zeitalter verändern Virtual Reality (VR) und Augmented Reality (AR) Technologien zunehmend unsere Lebens- und Arbeitsweise. Stellen Sie sich vor, Sie könnten einen 3D-Avatar erstellen, der Ihre Bewegungen und Gesichtsausdrücke perfekt nachahmt – wie wäre das?
ExAvatar, gemeinsam entwickelt von DGIST und Metas Codec Avatars Lab, macht diese Vorstellung Realität. Diese Technologie erfasst Ihre Ganzkörperbewegungen, Gesichtsausdrücke und sogar Handgesten über ein Video und verwandelt sie in ein lebensechtes 3D-Digitalbild.
ExAvatar zeichnet sich durch zwei Innovationen aus: Erstens verwendet es das SMPL-X Ganzkörper-Parameternetzmodell, um verschiedene Körperhaltungen präzise zu erfassen und wiederzugeben; zweitens verleiht die Kombination mit der 3D-Gauß-Splatting-Technologie (3DGS) ExAvatar eine realistischere und effizientere Rendering-Leistung.
Kernfunktionen:
Ganzkörper-3D-Steuerung: Unterstützt umfassende Animationen von Körper, Händen und Gesicht, um verschiedene Posen und Ausdrücke zu erzeugen.
Hybrid-Darstellung: Kombiniert 3D-Gauß und Oberflächennetz, um geometrische und optische Konsistenz zu gewährleisten und Artefakte zu reduzieren.
Einfache Erfassung: Ein 3D-Avatar kann durch einen kurzen Handy-Scan erstellt werden – einfach in der Bedienung.
Hochwertiges Rendering: Verwendet fortschrittliche Algorithmen und Technologien für eine hochwertige dynamische Darstellung und Rendering-Ergebnisse.
Übertrifft bestehende Technologien: Übertrifft bisherige 3D-Avatar-Generierungstechnologien in Bezug auf natürliche Bewegung und Aussehen und eignet sich für ein breiteres Anwendungsspektrum.
ExAvatar löst einige Probleme bisheriger Technologien, wie z. B. die unzureichende Vielfalt an Gesichtsausdrücken und Posen sowie das Fehlen von 3D-Scans und Tiefenbilddaten. Durch die Hybrid-Darstellung verbessert ExAvatar die Natürlichkeit der Animation und reduziert Artefakte, die in neuen Posen auftreten können.
Vor dem Training von ExAvatar führte das Forschungsteam eine gemeinsame Registrierung des SMPL-X-Modells für Körper, Hände und Gesicht durch und führte Gelenk- und Gesichtsverschiebungen ein, um die Länge der Handknochen und die Form des Gesichtsbereichs zu optimieren und so die Leistung und Natürlichkeit des Avatars zu verbessern.
Die technische Architektur von ExAvatar extrahiert die Merkmale jedes Gauß und verarbeitet sie über ein mehrschichtiges Perzeptron (MLP). In Kombination mit einem Standardnetz entsteht so ein 3D-Avatar, der im Standardraum animiert werden kann. Die Animation erfolgt mithilfe des linearen Blendings (LBS)-Algorithmus, und die 3DGS-Technologie rendert den Avatar auf dem Bildschirm, um eine hohe visuelle Qualität zu gewährleisten.
Die Benutzerfreundlichkeit von ExAvatar zeigt sich darin, dass Benutzer einen 3D-Avatar einfach per Handy-Scan erstellen können. Animationen sind mit neuen Körperhaltungen, Gesten und Gesichtsausdrücken möglich, und das Rendering erfolgt aus jeder beliebigen Perspektive. Diese Technologie verwendet eine Hybrid-Darstellungsmethode, bei der jeder 3D-Gauß als Scheitelpunkt der Oberfläche betrachtet wird, wobei diese Scheitelpunkte über vordefinierte Verbindungen verfügen, die mit der Netztopologie von SMPL-X übereinstimmen.
Projektseite: https://top.aibase.com/tool/exavatar
Paper: https://arxiv.org/pdf/2407.21686
