MikuDance
Herramienta de generación de animación de arte de personajes animados dinámicos híbridos basada en difusión.
Producto ComúnImagenAnimaciónArte de personajes
MikuDance es un pipeline de generación de animación basado en difusión que combina la dinámica de movimiento híbrido para animar arte de personajes estilizados. Esta tecnología, a través de dos técnicas clave: el modelado de movimiento híbrido y la difusión controlada híbrida, resuelve los desafíos de los movimientos altamente dinámicos y la desalineación de la guía de referencia en la animación de arte de personajes. MikuDance modela explícitamente la cámara dinámica en el espacio de píxeles mediante una estrategia de seguimiento de movimiento de escena, logrando un modelado unificado del movimiento de la escena y el personaje. Sobre esta base, la difusión controlada híbrida alinea implícitamente la escala y el tamaño corporal de diferentes personajes, permitiendo un control flexible del movimiento local del personaje. Además, se incluye un módulo de normalización adaptativa al movimiento, que inyecta eficazmente el movimiento de la escena global, allanando el camino para una animación completa de arte de personajes. A través de extensos experimentos, MikuDance ha demostrado su eficacia y capacidad de generalización en una variedad de artes de personajes y guías de movimiento, generando consistentemente animaciones de alta calidad con una dinámica de movimiento notable.