Uma startup chamada Panjaya está revolucionando a tradução de vídeos. Após três anos de desenvolvimento secreto, a empresa lançou o BodyTalk, uma ferramenta de IA inovadora que converte com precisão a fala de pessoas em vídeos para outras línguas. Diferentemente da dublagem tradicional, o BodyTalk não apenas replica perfeitamente as características vocais originais do orador, mas também ajusta automaticamente as expressões faciais e os movimentos corporais da pessoa no vídeo para que correspondam naturalmente ao padrão de fala do novo idioma.
A Panjaya foi fundada por dois especialistas em aprendizado profundo do governo israelense, Hilik Shani e Ariel Shalom. Em 2021, eles deixaram o setor público para empreender, e posteriormente contaram com Guy Piekarz como CEO, profissional com vasta experiência no setor. Piekarz fundou anteriormente a plataforma de descoberta e recomendação de streaming Matcha, adquirida pela Apple em 2013.
Observação da fonte: Imagem gerada por IA, provedor de serviços de licenciamento de imagens Midjourney
Atualmente, o BodyTalk suporta a tradução para 29 idiomas. Seu fluxo de trabalho começa com a tradução de áudio, depois gera uma nova fala que imita a fala original, e finalmente ajusta automaticamente a boca e os movimentos do orador no vídeo para corresponder à nova expressão linguística. Embora o tempo de processamento esteja próximo do tempo real, ainda são necessários alguns minutos para processar um vídeo.
Em termos técnicos, a Panjaya adotou uma estratégia híbrida, utilizando tanto modelos de linguagem grandes de terceiros quanto desenvolvendo tecnologias essenciais internamente. De acordo com Piekarz, o mecanismo de sincronização labial da empresa foi totalmente desenvolvido pela equipe interna de pesquisa em IA, pois não havia no mercado soluções que atendessem às suas complexas necessidades comerciais, como múltiplos ângulos e múltiplos oradores.
A empresa está atualmente focada no mercado B2B e já fechou parcerias com instituições como JFrog e TED. A TED relatou um aumento de 115% nas visualizações de vídeos de palestras dublados com a ferramenta Panjaya, e o índice de visualização completa dobrou. A empresa planeja expandir ainda mais suas aplicações para os setores de esportes, educação, marketing e saúde.
Para evitar o mau uso da tecnologia, a Panjaya controla rigorosamente o acesso à ferramenta e planeja desenvolver recursos como marcas d'água para identificar conteúdo de vídeo sintetizado. Embora as legendas já sejam padrão em conteúdo de vídeo — uma pesquisa da CBS mostrou que mais da metade dos espectadores americanos assistem com as legendas ativadas —, a demanda por conteúdo dublado no mercado internacional continua enorme. Dados da empresa de pesquisa CSA indicam que, especialmente no setor B2B, o conteúdo na língua nativa gera maior engajamento do usuário.
Esta rodada de financiamento de US$ 9,5 milhões contou com a participação de várias empresas de investimento e indivíduos, incluindo Viola Ventures, R-Squared Ventures e Shlomi Ben Haim, cofundador e CEO da JFrog. No futuro, a Panjaya planeja lançar uma API e melhorar ainda mais a velocidade de processamento, buscando atingir o processamento em tempo real.