Une startup nommée Panjaya révolutionne le monde de la traduction vidéo. Après trois ans de développement secret, la société a lancé BodyTalk, un outil d'IA révolutionnaire capable de traduire avec précision la voix des personnes dans les vidéos vers d'autres langues. Contrairement au doublage traditionnel, BodyTalk reproduit non seulement parfaitement les caractéristiques vocales originales du locuteur, mais ajuste également automatiquement les expressions faciales et les mouvements corporels de la personne dans la vidéo afin qu'ils correspondent naturellement au modèle linguistique cible.
Panjaya a été fondée par deux experts israéliens en apprentissage profond du gouvernement, Hilik Shani et Ariel Shalom. En 2021, ils ont quitté le secteur public pour créer leur entreprise, et ont ensuite accueilli Guy Piekarz comme PDG, un dirigeant expérimenté. Piekarz avait auparavant fondé Matcha, une plateforme de découverte et de recommandation de streaming, acquise par Apple en 2013.
Source : Image générée par IA, fournisseur de services d'autorisation d'images : Midjourney
Actuellement, BodyTalk prend en charge la traduction dans 29 langues. Son processus de travail commence par la traduction audio, puis génère une nouvelle voix imitant celle du locuteur original, avant d'ajuster automatiquement la synchronisation labiale et les mouvements du locuteur dans la vidéo pour correspondre à la nouvelle expression linguistique. Bien que le temps de traitement se rapproche du temps réel, quelques minutes sont encore nécessaires pour traiter une vidéo.
Sur le plan technique, Panjaya utilise une stratégie hybride, en utilisant à la fois des modèles linguistiques de grande taille tiers et en développant ses propres technologies clés. Selon Piekarz, le moteur de synchronisation labiale de la société a été entièrement développé par son équipe interne de recherche en IA, car aucune solution disponible sur le marché ne répondait à ses besoins commerciaux complexes, notamment la prise en charge de plusieurs angles et de plusieurs locuteurs.
L'entreprise se concentre actuellement sur le marché B2B et a conclu des partenariats avec des organisations telles que JFrog et TED. TED a indiqué que les vidéos de conférences doublées avec l'outil Panjaya ont vu leurs vues augmenter de 115 % et leur taux de visionnage complet doubler. La société prévoit d'étendre ses applications aux secteurs du sport, de l'éducation, du marketing et de la santé.
Pour éviter les abus technologiques, Panjaya contrôle strictement les droits d'utilisation de son outil et prévoit de développer des fonctionnalités telles que le filigrane pour identifier les contenus vidéo synthétisés. Bien que les sous-titres soient devenus la norme pour les contenus vidéo – une enquête de CBS révèle que plus de la moitié des téléspectateurs américains utilisent les sous-titres lors du visionnage –, la demande de doublage reste énorme sur le marché international. Les données de l'institut de recherche CSA montrent que, notamment dans le domaine B2B, les contenus dans la langue maternelle entraînent une plus grande implication des utilisateurs.
Ce tour de financement de 9,5 millions de dollars a été mené par plusieurs sociétés d'investissement et investisseurs privés, dont Viola Ventures, R-Squared Ventures et Shlomi Ben Haim, co-fondateur et PDG de JFrog. À l'avenir, Panjaya prévoit de lancer une interface API et d'améliorer encore la vitesse de traitement, dans le but d'atteindre un traitement en temps réel.