AV-HuBERT é uma estrutura de aprendizado de representação autossupervisionada, especializada no processamento de fala áudio-visual. Alcançou resultados de ponta em leitura labial, reconhecimento automático de fala (ASR) e reconhecimento de fala áudio-visual no benchmark de fala áudio-visual LRS3. A estrutura aprende representações de fala áudio-visual por meio da previsão de agrupamento multimodal mascarado e fornece um reconhecimento de fala áudio-visual autossupervisionado robusto.