La startup Panjaya está revolucionando el mundo de la traducción de vídeo. Tras tres años de desarrollo secreto, ha lanzado BodyTalk, una herramienta de IA que traduce con precisión el audio de los vídeos a otros idiomas. A diferencia de la doblaje tradicional, BodyTalk no solo reproduce fielmente las características de la voz original, sino que también ajusta automáticamente las expresiones faciales y los movimientos corporales del hablante para que coincidan naturalmente con el nuevo idioma.
Panjaya fue fundada por dos expertos en aprendizaje profundo del gobierno israelí, Hilik Shani y Ariel Shalom. En 2021, dejaron sus puestos gubernamentales para emprender, y posteriormente incorporaron a Guy Piekarz como CEO, aportando una amplia experiencia en la industria. Piekarz fundó previamente Matcha, una plataforma de descubrimiento y recomendación de streaming que fue adquirida por Apple en 2013.
Nota de la imagen: Imagen generada por IA, proveída por Midjourney
Actualmente, BodyTalk admite la traducción a 29 idiomas. Su proceso comienza con la traducción de audio, luego genera una nueva voz que imita la del hablante original, y finalmente ajusta automáticamente la sincronización de labios y los movimientos del hablante para que coincidan con la nueva expresión lingüística. Aunque el tiempo de procesamiento se acerca al tiempo real, todavía se necesitan unos minutos para procesar un vídeo.
A nivel técnico, Panjaya utiliza una estrategia mixta, empleando tanto modelos de lenguaje grandes de terceros como tecnología propia. Según Piekarz, el motor de sincronización labial de la empresa fue desarrollado completamente por su equipo interno de IA, ya que no existía en el mercado una solución que satisficiera las complejas necesidades de múltiples ángulos y múltiples hablantes de sus escenarios comerciales.
La empresa se centra actualmente en el mercado B2B y ya ha colaborado con instituciones como JFrog y TED. TED informó que las conferencias dobladas con la herramienta de Panjaya experimentaron un aumento del 115% en las visualizaciones y una duplicación de la tasa de visualización completa. La empresa planea ampliar sus aplicaciones a los sectores deportivo, educativo, de marketing y sanitario.
Para evitar el mal uso de la tecnología, Panjaya controla estrictamente los permisos de uso de la herramienta y planea desarrollar funciones como marcas de agua para identificar los vídeos procesados. Aunque los subtítulos se han convertido en un elemento estándar de los vídeos —según una encuesta de CBS, más de la mitad de los espectadores estadounidenses los activan al ver vídeos— la demanda de doblaje en el mercado internacional sigue siendo enorme. Datos de la empresa de investigación CSA indican que, especialmente en el ámbito B2B, el contenido en idioma nativo genera una mayor participación del usuario.
Esta ronda de financiación de 9,5 millones de dólares ha contado con la participación de varias firmas de inversión y particulares, incluyendo Viola Ventures, R-Squared Ventures y Shlomi Ben Haim, cofundador y CEO de JFrog. En el futuro, Panjaya planea lanzar una API y mejorar aún más la velocidad de procesamiento, con el objetivo de alcanzar el procesamiento en tiempo real.