Das Startup Panjaya revolutioniert die Welt der Videoübersetzung. Nach dreijähriger, geheimer Entwicklung präsentiert das Unternehmen sein bahnbrechendes Produkt BodyTalk: Ein KI-Tool, das die Sprache von Personen in Videos präzise in andere Sprachen übersetzt. Anders als bei herkömmlichem Voice-Over kopiert BodyTalk nicht nur die Originalstimme perfekt, sondern passt auch die Mimik und Gestik des Sprechers automatisch an die Sprachmuster der neuen Sprache an, um ein natürliches Ergebnis zu erzielen.
Panjaya wurde von den beiden israelischen Deep-Learning-Experten Hilik Shani und Ariel Shalom gegründet. 2021 verließen sie den öffentlichen Dienst, um ihr eigenes Unternehmen zu gründen. Später kam Guy Piekarz als CEO hinzu, der über umfangreiche Branchenerfahrung verfügt. Piekarz gründete zuvor die Streaming-Entdeckungs- und Empfehlungsplattform Matcha, die 2013 von Apple übernommen wurde.
Bildquelle: Das Bild wurde mit KI generiert und von Midjourney lizenziert.
Derzeit unterstützt BodyTalk die Übersetzung in 29 Sprachen. Der Arbeitsablauf beginnt mit der Audioübersetzung, gefolgt von der Generierung einer neuen Stimme, die die Originalstimme imitiert. Abschließend werden die Lippenbewegungen und Aktionen des Sprechers im Video automatisch an die neue Sprache angepasst. Obwohl der Prozess nahezu in Echtzeit abläuft, dauert die Bearbeitung eines Videos derzeit noch einige Minuten.
Technisch gesehen verwendet Panjaya eine hybride Strategie, die sowohl die Nutzung von Drittanbieter-Sprachmodellen als auch die eigenständige Entwicklung von Kerntechnologien umfasst. Laut Piekarz wurde die Lippen-Synchronisations-Engine des Unternehmens vollständig vom internen KI-Forschungsteam entwickelt, da es auf dem Markt keine Lösung gab, die die komplexen Anforderungen des Unternehmens an verschiedene Perspektiven und mehrere Sprecher erfüllte.
Das Unternehmen konzentriert sich derzeit auf den B2B-Markt und arbeitet bereits mit Unternehmen wie JFrog und TED zusammen. TED berichtet, dass die Aufrufe von Vortragsvideos, die mit dem Panjaya-Tool synchronisiert wurden, um 115 % gestiegen sind, und die vollständige Wiedergabequote sich verdoppelt hat. Das Unternehmen plant, seine Anwendungen auf die Bereiche Sport, Bildung, Marketing und Medizin auszuweiten.
Um den Missbrauch der Technologie zu verhindern, kontrolliert Panjaya streng die Zugriffsberechtigungen des Tools und plant die Entwicklung von Wasserzeichen, um synthetisierte Videoinhalte zu identifizieren. Obwohl Untertitel bereits zum Standard bei Videoinhalten gehören – laut einer CBS-Umfrage schalten über die Hälfte der amerikanischen Zuschauer Untertitel ein – ist die Nachfrage nach synchronisierten Inhalten auf dem internationalen Markt nach wie vor enorm. Daten des Marktforschungsunternehmens CSA zeigen, dass insbesondere im B2B-Bereich muttersprachliche Inhalte zu einer höheren Nutzerbeteiligung führen.
Die aktuelle Finanzierungsrunde in Höhe von 9,5 Millionen US-Dollar wurde von mehreren Investoren und Privatpersonen getragen, darunter Viola Ventures, R-Squared Ventures und Shlomi Ben Haim, Mitgründer und CEO von JFrog. Zukünftig plant Panjaya die Einführung einer API und eine weitere Steigerung der Verarbeitungsgeschwindigkeit, um das Ziel der Echtzeitverarbeitung zu erreichen.