VideoVAEPlus
Codificação de vídeo de alta fidelidade, autocodificador de vídeo adequado para cenas com grandes movimentos.
Produto ComumVídeoCodificação de vídeoAutocodificador variacional
Este é um autocodificador variacional de vídeo (VAE) projetado para reduzir a redundância de vídeo e promover a geração eficiente de vídeo. O modelo observa que a extensão direta de um VAE de imagem para um VAE 3D introduz borrões de movimento e distorção de detalhes. Portanto, propõe-se uma compressão espacial sensível ao tempo para melhor codificar e decodificar informações espaciais. Além disso, o modelo integra um modelo de compressão de movimento leve para atingir uma maior compressão temporal. Ao aproveitar as informações de texto inerentes aos conjuntos de dados de texto para vídeo e incorporar a orientação de texto no modelo, a qualidade de reconstrução é significativamente aprimorada, especialmente em termos de preservação de detalhes e estabilidade temporal. O modelo também melhora sua generalização por meio de treinamento conjunto em imagens e vídeos, não apenas melhorando a qualidade de reconstrução, mas também permitindo que o modelo execute autocodificação de imagens e vídeos. Avaliações abrangentes mostram que o método supera os recentes benchmarks robustos.