GaussianSpeech ist eine innovative Methode zur Synthese hochauflösender Animationssequenzen aus Sprachsignalen, um realistische und personalisierte 3D-Avatare mit Kopfmodellierung zu erstellen. Die Technologie kombiniert Sprachsignale mit einer 3D-Gaußschen Maltechnik, um menschliche Kopfbewegungen und Details wie Hautfalten und feinste Gesichtsbewegungen zu erfassen. Zu den Hauptvorteilen von GaussianSpeech gehören Echtzeit-Rendering, natürliche visuelle Dynamik und die Fähigkeit, vielfältige Gesichtsausdrücke und -stile darzustellen. Die Technologie basiert auf der Erstellung eines umfangreichen, multiperspektivischen Audio-Video-Sequenz-Datensatzes und der Entwicklung von audio-konditionierten Transformationsmodellen, die Lippen- und Ausdrucksmerkmale direkt aus Audioeingaben extrahieren können.