Hedra ha presentado Character-3 y Hedra Studio, dos innovaciones que marcan un hito en la tecnología de avatares digitales. Estos avances permiten la inferencia conjunta de imagen, texto y audio, abriendo nuevas posibilidades para la creación de experiencias inmersivas y realistas en diversas aplicaciones.

Dubber, una empresa de tecnología de inteligencia artificial, ha anunciado una ronda de financiación de 3,6 millones de dólares. Su tecnología innovadora se centra en la transferencia emocional, revolucionando la forma en que se crea el doblaje de IA, ofreciendo resultados más naturales y expresivos.

Según TechCrunch, la empresa de IA de voz ElevenLabs ahora permite a los autores publicar audiolibros generados por IA en su aplicación de lectura, tras su colaboración con Spotify para lanzar audiolibros narrados por IA. ElevenLabs recaudó una enorme suma de 180 millones de dólares el mes pasado, y comenzó a invitar a autores a probar su programa de publicación el año pasado; ahora, el programa está abierto a todos los autores. La empresa tiene como objetivo ofrecer herramientas de creación de audiolibros asequibles y fáciles de usar para reducir los costes de producción y competir con Audible.

Spotify anunció el jueves su colaboración con ElevenLabs para integrar audiolibros con narración mediante la tecnología de voz AI de la compañía. Como uno de los proveedores de audio AI más reconocidos, esta nueva asociación se espera que aumente significativamente la cantidad de audiolibros con narración por IA en la plataforma. Según el nuevo proceso, los autores primero deben descargar un paquete de archivos de audio de ElevenLabs y luego acceder al servicio de publicación de audiolibros de Spotify, Findaway Voices.

Sharge, un proveedor especializado en carga inalámbrica, ha recaudado 1,53 millones de dólares en Kickstarter en solo cinco días para sus nuevas gafas inteligentes Loomos AI. Esta cifra supera con creces su objetivo de financiación de 5000 dólares, lo que demuestra el gran interés del mercado por el producto. Las gafas Loomos AI cuentan con una batería de 450 mAh que ofrece una duración de batería líder en el mercado, alcanzando las 40 horas. El dispositivo también incorpora una cámara Sony de 16 MP

El 20 de enero, SenseTime anunció que su versión interactiva del 'modelo grande de fusión Rì Rì Xīn' (SenseNova-5o) ofrece oficialmente servicios de conversación de audio y video en tiempo real, y se ofrece a los usuarios de forma gratuita por tiempo limitado. El lanzamiento de esta versión interactiva marca otro avance importante de SenseTime en el campo de la inteligencia artificial, con el objetivo de impulsar una comunicación más natural y fluida entre la IA y los humanos a través de potentes capacidades de interacción en tiempo real, reconocimiento visual, memoria, razonamiento y capacidades de razonamiento complejo.

Tras el lanzamiento a finales de 2024 de la función de clonación de voz de Hailuo AI para su versión internacional, Hailuo AI ha lanzado recientemente el nuevo modelo de voz T2A-01-HD. El nuevo modelo de voz T2A-01-HD también admite la clonación de voz y puede generar voz con ricas emociones. Según la información oficial, T2A-01-HD ha mejorado la calidad de audio en comparación con los modelos anteriores, con una precisión de clonación excepcional. Sin embargo, T2A-01-HD aún no se ha abierto a código abierto; los usuarios pueden utilizarlo de forma gratuita en el sitio web. Acceda a Hailuo AI

Google anunció recientemente que su aplicación de notas, NotebookLM, está lanzando una nueva función: los usuarios pueden interactuar con un presentador de podcast de IA. Esta función amplía la función de resumen de audio, permitiendo a los usuarios hacer preguntas, profundizar en las discusiones y obtener respuestas personalizadas mientras interactúan con la IA. La función de resumen de audio de NotebookLM, lanzada inicialmente, permitía a los usuarios cargar documentos (como materiales de cursos o resúmenes legales), tras lo cual un presentador virtual de IA generaba un resumen del podcast. El nuevo modo interactivo permite a los usuarios interactuar con el presentador.

Recientemente, ByteDance lanzó un nuevo framework de sincronización labial llamado LatentSync, diseñado para lograr una sincronización de labios más precisa utilizando un modelo de difusión latente condicionado por audio. Este framework se basa en Stable Diffusion y se ha optimizado para la coherencia temporal. A diferencia de los métodos anteriores basados en la difusión del espacio de píxeles o la generación en dos etapas, LatentSync utiliza un enfoque de extremo a extremo, sin necesidad de una representación intermedia del movimiento, lo que permite modelar directamente la compleja relación entre el audio y la visión. En LatentSync

En el campo de la inteligencia artificial, la generación de audio a partir de texto se está convirtiendo en un área de investigación cada vez más popular. Recientemente, los investigadores han presentado un nuevo modelo llamado TANGOFLUX, que destaca por su rendimiento y eficiencia. TANGOFLUX es un modelo eficiente de generación de audio a partir de texto, con 515 millones de parámetros, capaz de generar audio de 44,1 kHz de hasta 30 segundos de duración en tan solo 3,7 segundos. Esta velocidad lo convierte en un modelo excepcionalmente rápido en una sola GPU A40. TANGOFLUX principalmente...

Recientemente, Adobe Research, en colaboración con la Universidad Northwestern, ha desarrollado un sistema de inteligencia artificial llamado Sketch2Sound, una herramienta que promete revolucionar la forma en que los diseñadores de sonido trabajan. Sketch2Sound permite a los usuarios crear efectos de sonido y ambientes profesionales simplemente tarareando, imitando sonidos o utilizando descripciones de texto sencillas. El sistema analiza tres elementos clave de la entrada vocal del usuario: volumen, timbre (que determina si el sonido es brillante u oscuro) y tono. Posteriormente, combina estas características con las del usuario

La plataforma de servicios de modelos grandes de Alibaba Cloud Bailian ha lanzado recientemente la función de "interacción en tiempo real de audio y video", lo que permite a los usuarios crear fácilmente aplicaciones de IA multimodal sin necesidad de conocimientos de programación. Esta nueva función permite a los usuarios integrar rápidamente modelos de IA en aplicaciones web, iOS y Android, y compartirlos con otros. Los usuarios pueden crear aplicaciones de agentes inteligentes siguiendo sencillos pasos: primero, crear una aplicación de agente inteligente, y luego seleccionar y configurar los modelos grandes de comprensión de texto, voz o visión necesarios en la plataforma Bailian de Alibaba Cloud. La plataforma ofrece más de 200 modelos grandes, incluyendo...

Nexa AI ha lanzado recientemente su nuevo modelo de lenguaje de audio OmniAudio-2.6B, diseñado para una implementación eficiente en dispositivos periféricos. A diferencia de las arquitecturas tradicionales que separan el Reconocimiento Automático del Habla (RAH) y los modelos de lenguaje, OmniAudio-2.6B integra Gemma-2-2b, Whisper Turbo y un proyector personalizado en un marco unificado. Este diseño elimina las ineficiencias y la latencia asociadas con la conexión de componentes individuales en sistemas tradicionales, lo que lo hace especialmente adecuado para entornos con recursos computacionales limitados.

Jieyue Xingchen anunció recientemente el lanzamiento de Step-1o, el nuevo miembro de la matriz de modelos de la serie Step, un modelo lingüístico de audio de extremo a extremo con miles de millones de parámetros, supuestamente el primero de su tipo en China. El lanzamiento de este nuevo modelo representa un gran avance en el campo de la tecnología de voz. A través de una solución de voz de extremo a extremo, puede lograr la integración de la comprensión y generación de voz, mejorando así el límite superior del cociente intelectual y emocional del modelo y logrando una experiencia de comunicación de alta calidad y sobrenatural.

Según informes de los medios, en la Conferencia Anual de la Industria de Juegos de China 2024, Giant Network lanzó el modelo de lenguaje grande para la generación de videojuegos de audio "QianYing", aumentando aún más su apuesta en el campo de "Juegos + IA". Según la información pública, "QianYing" incluye dos modelos de lenguaje grandes principales: YingGame, el modelo de lenguaje grande para la generación de videojuegos, e YingSound, el modelo de lenguaje grande para el doblaje de video, logrando un avance innovador en la generación de videos de juegos interactivos con audio. Giant Network afirma que actualmente el modelo de lenguaje grande para videojuegos de audio "QianYing"

En la Conferencia Anual de la Industria del Juego de China 2024, celebrada hoy, Gigante Network lanzó el gran modelo de generación de juegos de audio "Qianying". Este modelo está formado por el gran modelo de generación de video de juegos YingGame y el gran modelo de doblaje de video YingSound, con el objetivo de reducir el umbral de desarrollo de juegos y permitir que las personas comunes creen juegos fácilmente. YingGame es un gran modelo de generación de video para juegos de mundo abierto, desarrollado conjuntamente por el laboratorio de IA de Gigante Network y el SATLab de la Universidad Tsinghua.

Recientemente, un equipo de investigación de la Universidad de Illinois Urbana-Champaign, Sony AI y Sony Corporation presentó una nueva tecnología llamada MMAudio, diseñada para lograr una síntesis de video a audio de alta calidad mediante entrenamiento conjunto multimodal. La innovación central de MMAudio radica en su capacidad para generar audio sincronizado utilizando video y entrada de texto, expandiendo así las aplicaciones de generación de audio. Admite la entrada de video o texto para generar efectos de sonido que se ajusten al contenido del video. El diseño de MMAudio permite...