O audio2photoreal é um projeto de código aberto que gera avatares fotorrealistas a partir de áudio. Ele inclui uma implementação PyTorch que sintetiza imagens humanas em conversação a partir de áudio. O projeto fornece código de treinamento, código de teste, modelos de movimento pré-treinados e acesso ao conjunto de dados. Seus modelos incluem um modelo de difusão facial, um modelo de difusão corporal, um modelo VQ-VAE corporal e um modelo de transformador guiado por corpo. O projeto permite que pesquisadores e desenvolvedores treinem seus próprios modelos e sintetizem avatares realistas de alta qualidade com base em voz.