Panjayaというスタートアップ企業が、動画翻訳の常識を覆そうとしています。3年間の秘密開発を経て、同社は画期的な製品BodyTalkを発表しました。これは、動画中の人物の声を他の言語に正確に変換できるAIツールです。従来の吹き替えとは異なり、BodyTalkは話者の声の特徴を完璧に再現するだけでなく、人物の表情や動作も自動的に調整し、新しい言語の音声パターンに自然に合わせます。
Panjayaは、イスラエル政府のディープラーニング専門家であるHilik Shani氏とAriel Shalom氏によって設立されました。2021年、二人は政府機関を辞めて起業し、その後、豊富な業界経験を持つGuy Piekarz氏をCEOに迎えました。Piekarz氏は以前、2013年にApple社に買収されたストリーミングプラットフォームMatchaを設立していました。
画像出典：AI生成画像、画像ライセンス提供元Midjourney
現在、BodyTalkは29言語に対応しています。そのワークフローは、まず音声翻訳を行い、次に元の話者を模倣した新しい音声を作成し、最後に話者の口の動きと動作を新しい言語表現に合わせて自動的に調整します。処理時間はほぼリアルタイムに近づいていますが、現在も動画の処理には数分かかります。
技術面では、Panjayaはサードパーティの大規模言語モデルと独自の技術開発を組み合わせたハイブリッド戦略を採用しています。Piekarz氏によると、同社のリップシンクエンジンは社内のAI研究チームが完全に開発したもので、多角的な視点や複数の話者など、複雑なビジネスシーンのニーズを満たせるソリューションは市場になかったとのことです。
同社は現在、B2B市場に注力しており、JFrogやTEDなどの機関と提携しています。TEDは、Panjayaのツールを使った吹き替え動画の視聴回数が115％増加し、最後まで視聴する割合が倍増したと述べています。同社は、スポーツ、教育、マーケティング、医療などへの適用範囲をさらに拡大する計画です。
技術の悪用を防ぐため、Panjayaはツールの使用権を厳しく管理し、合成された動画コンテンツを識別するための透かし機能などを開発する予定です。字幕は動画コンテンツの標準装備になりつつありますが（CBSの調査によると、アメリカの視聴者の半数以上が視聴時に字幕をオンにしている）、国際市場では吹き替えコンテンツへの需要が依然として大きいです。調査機関CSAのデータによると、特にB2B分野では、母国語のコンテンツの方がユーザーのエンゲージメントを高めることが示されています。
今回の950万ドルの資金調達には、Viola Ventures、R-Squared Ventures、JFrogの共同設立者兼CEOであるShlomi Ben Haim氏など、複数の投資機関と個人が参加しました。Panjayaは今後、APIインターフェースを導入し、処理速度をさらに向上させ、リアルタイム処理を目指します。
