AnimateDiff é uma estrutura eficaz para animar modelos personalizados de texto para imagem. Ele adiciona um módulo de modelagem de animação recém-inicializado a um modelo de texto para imagem base congelado e treina em clipes de vídeo para extrair conhecimento prévio de animação razoável. Após o treinamento, ao injetar este módulo de modelagem de animação, todas as versões personalizadas derivadas do mesmo modelo base são capazes de gerar imagens animadas diversas e personalizadas. Esta estrutura economiza o trabalho de ajuste específico do modelo.