Recientemente, el modelo de generación de música de código abierto YuE, desarrollado conjuntamente por la Universidad de Ciencia y Tecnología de Hong Kong y DeepSeek, una empresa del ámbito musical, ha sido lanzado oficialmente, causando sensación entre los aficionados y creadores musicales. Este modelo no solo puede generar música de diversos estilos, sino que también puede simular voces humanas, ofreciendo a los oyentes una experiencia musical completamente nueva.
La característica principal de YuE reside en su arquitectura de doble modelo lingüístico LLaMA, lo que le permite adaptarse sin problemas a diversos modelos de lenguaje de gran tamaño y procesar canciones completas de hasta 5 minutos de duración. Este diseño innovador ha llevado a YuE a alcanzar un nivel de calidad en la generación de música sin precedentes, compitiendo incluso con herramientas de generación de música de código cerrado conocidas en el mercado como Suno y Udio. YuE puede generar simultáneamente voces profesionales y acompañamientos, logrando una generación de música de extremo a extremo.
El equipo de investigación ha incorporado en YuE una estrategia de "predicción del siguiente token en versión de doble pista", modelando por separado las pistas de voz y acompañamiento, lo que garantiza la delicadeza y coherencia en la creación musical. Este método no solo mejora la calidad del sonido, sino que también reduce significativamente la pérdida de información durante el proceso de reconstrucción del contenido. Además, la tecnología de "generación progresiva estructurada" de YuE permite que las secciones de estrofa y coro de una canción se alternen en el mismo contexto, mejorando aún más la coherencia de la canción.
Para evitar el plagio, YuE también ha desarrollado una tecnología única de aprendizaje de contexto musical, que permite al modelo aprender de fragmentos musicales existentes sin repetirlos durante la creación. Esta innovación no solo mejora la musicalidad del modelo, sino que también aumenta la singularidad de sus creaciones. Finalmente, YuE ha demostrado un rendimiento excepcional en varias evaluaciones, ganando el reconocimiento favorable de los usuarios.
Con el lanzamiento de YuE, el futuro de la creación musical se presenta aún más lleno de posibilidades. Tanto si eres un músico profesional como un aficionado, puedes experimentar la diversión de la creación musical con IA en esta plataforma.
Dirección del proyecto: https://github.com/multimodal-art-projection/YuE
