GaussianSpeech é um método inovador que sintetiza sequências de animação de alta fidelidade a partir de sinais de áudio, criando avatares 3D realistas e personalizados. A tecnologia combina sinais de áudio com a técnica de renderização gaussiana 3D para capturar expressões faciais e movimentos detalhados da cabeça humana, incluindo rugas na pele e movimentos faciais mais sutis. As principais vantagens do GaussianSpeech incluem velocidade de renderização em tempo real, efeitos visuais dinâmicos naturais e a capacidade de apresentar uma variedade de expressões faciais e estilos. A tecnologia é baseada na criação de um amplo conjunto de dados de sequências áudio-visuais multivisuais e no desenvolvimento de modelos de transformação condicionais ao áudio, capazes de extrair diretamente características labiais e de expressão a partir da entrada de áudio.