Hedra ha presentado Character-3 y Hedra Studio, dos innovaciones que marcan un hito en la tecnología de avatares digitales. Estos avances permiten la inferencia conjunta de imagen, texto y audio, abriendo nuevas posibilidades para la creación de experiencias inmersivas y realistas en diversas aplicaciones.

¿Sigue preocupado por la compleja configuración del entorno de las herramientas de avatar digital de código abierto? La aparición de AigcPanel cambiará por completo esta situación. Este sistema de avatar digital IA integral, con sus características fáciles de usar, permite a todos los usuarios dominarlo fácilmente. Con solo un paquete de instalación, puede resolver todos los problemas, despidiéndose de la compleja configuración del entorno; solo necesita descargar el modelo para comenzar a usarlo, lo que realmente logra "listo para usar". La función principal de AigcPanel radica en su potente capacidad de síntesis de video, síntesis de voz y clonación de voz. Los usuarios pueden generar fácilmente videos con avatares digitales

En la era del rápido avance tecnológico, la tecnología de síntesis de voz también ha experimentado un gran progreso, especialmente en el campo de la restauración de voces perdidas. Recientemente, los investigadores de Google propusieron una nueva tecnología llamada "transferencia de voz de muestra cero (zero-shot voice transfer)" que se puede combinar directamente con los sistemas de texto a voz (TTS) más avanzados para ayudar a las personas que han perdido su voz debido a enfermedades o accidentes a recuperar sus "recuerdos de voz". El núcleo de esta tecnología radica en la capacidad de "muestra cero", lo que significa que no se necesitan grandes cantidades de muestras para su implementación.

En la gira de innovación de IA de Volcano Engine 2024 de hoy, además del modelo de generación de vídeo, ByteDance también lanzó los modelos Beanbag Música y Beanbag Traducción Simultánea, y anunció importantes mejoras en los modelos verticales como el modelo Beanbag general Pro, el modelo de generación de imágenes a partir de texto y el modelo de síntesis de voz. El lanzamiento del modelo Beanbag Música marca la profunda incursión de Volcano Engine en el campo de la creación musical. Este modelo, gracias a su potente algoritmo, permite una creación musical de alta calidad y libre. En cuanto a la generación de letras, con solo unas pocas palabras, se pueden generar rápidamente letras con la emoción deseada.

El nuevo modelo de síntesis de voz CosyVoice y el modelo de reconocimiento de voz SenseVoice de Alibaba, conforman juntos el framework FunAudioLLM, cuyo objetivo es mejorar la experiencia de interacción humano-máquina. CosyVoice, con su capacidad de generar voces realistas, puede imitar voces de diferentes géneros, edades y personalidades, añadiendo emociones y estilos, e incluso simulando características naturales como risas, tos y respiración. SenseVoice se centra en el reconocimiento de voz multilingüe de alta precisión, el reconocimiento de emociones y la detección de eventos de audio, con soporte para más de 50 idiomas.

Microsoft ha lanzado recientemente VALL-E 2, un modelo de texto a voz (TTS) de aprendizaje cero-shot, que ha generado un gran debate en el sector tecnológico y se considera un hito en el campo de la TTS. La innovación de VALL-E 2 radica en su capacidad de aprendizaje cero-shot; con solo un breve fragmento de una voz desconocida, puede imitar esa voz para decir cualquier texto, logrando una asombrosa imitación instantánea y agrupación de codificadores. También ha mejorado el muestreo perceptivo repetitivo, aumentando la estabilidad de la decodificación y simplificando las necesidades de datos. En las pruebas de puntuación subjetiva e indicadores objetivos, VALL-E 2 ha superado a los modelos anteriores.

La empresa emergente de síntesis de voz con IA, ElevenLabs, ha cerrado una ronda de financiación Serie B de 80 millones de dólares. La financiación está liderada por Andreessen Horowitz y Nat Friedman, entre otros. Los fondos se destinarán al desarrollo de productos, la ampliación de la infraestructura y el equipo, la investigación en IA y el refuerzo de las medidas de seguridad. ElevenLabs tiene una valoración superior a los 1.000 millones de dólares.

El UP de Bilibili “XiaoChongGe_” publicó un video de creación de fans de Genshin Impact, imitando a Faruzan, manteniendo la voz original, con más de 1.36 millones de reproducciones. El UP utilizó el modelo de síntesis de voz VITS, subiendo texto de voz para extraer características lingüísticas, conservando la voz única del personaje de Genshin Impact. La tecnología de clonación de voz con IA ya está generalizada, herramientas como HeyGen y AI Dubbing han reducido el umbral de uso. La mejora de la tecnología de IA ha atraído la atención de los creadores, la clave está en cómo crear obras originales en contenido y forma. El artículo explora los principios del modelo VITS.