GaussianSpeech est une méthode novatrice permettant de synthétiser des séquences d'animation haute fidélité à partir de signaux audio, créant ainsi des avatars 3D réalistes et personnalisés. La technique combine les signaux audio avec une technique de rendu gaussien 3D pour capturer les expressions faciales et les mouvements détaillés de la tête humaine, y compris les rides de la peau et les mouvements faciaux les plus subtils. Les principaux avantages de GaussianSpeech incluent une vitesse de rendu en temps réel, des effets visuels dynamiques naturels et la capacité de présenter une variété d'expressions et de styles faciaux. Cette technologie repose sur la création d'un ensemble de données audio-visuelles multi-vues à grande échelle et le développement de modèles de transformation conditionnels audio, capables d'extraire directement les caractéristiques labiales et faciales à partir de l'entrée audio.