D-ID、AI動画翻訳ツールを発表：音声クローンと口パク同期を実現、30言語に対応

最近、AI動画制作プラットフォームのD-IDが、全く新しいAI動画翻訳ツール「AI Video Translate」をリリースしました。このツールは動画を多言語に翻訳できるだけでなく、ナレーションの声を複製し、口の動きを調整することで、翻訳後の内容と動画の映像が完全に一致するようにします。

製品入口：https://top.aibase.com/tool/d-id-ai-video-translate

このツールで実現できる効果：

音声クローン：話者の声を自動的にクローンし、言語を超えた一貫性を確保します。
唇の動き調整：話者の唇の動きと完全に同期させ、自然な外観を実現します。
一括レンダリング：動画を最大29言語に高速翻訳します。
ユーザーフレンドリーなインターフェース：ドラッグ＆ドロップ機能と直感的なデザインにより、誰でも簡単に使用できます。

この技術の背景には、D-IDが以前に行ったいくつかの革新的な取り組みがあります。例えば数年前には、古い写真を「蘇らせ」、それらの写真に「話させる」ことで、大きな注目を集めました。

成長を続ける企業顧客をサポートするため、D-IDは2022年に2500万ドルのシリーズB資金調達を行いました。今回発表されたAI動画翻訳技術は、現在D-IDのサブスクリプションユーザーに無料で提供されています。クリエイターはこの技術を利用して、アラビア語、中国語、日本語、ヒンディー語、スペイン語、フランス語など30言語に動画を自動翻訳でき、視聴者の拡大に役立ちます。

D-IDによると、この新技術は、顧客がマーケティング、エンターテインメント、ソーシャルメディア活動の世界的な展開を支援し、ローカリゼーションのコストを削減できるとのことです。従来、吹き替え技術により、動画視聴者は自分の母国語で音声を楽しむことができましたが、小規模なクリエイターにとっては、この技術を利用することが困難な場合が多々ありました。

技術の進歩により、状況は変わりつつあります。例えば、YouTubeは最近、多言語音声機能を発表し、クリエイターが動画を他の言語に翻訳するのを支援しています。著名なYouTubeクリエイターであるMrBeast（ジミー・ドナルドソン）は初期のユーザーの一人で、この技術を利用していくつかのヒット動画を11言語に翻訳しました。

現在、AI技術の発展により、音声の作成、翻訳、複製能力も向上しています。今年、MicrosoftはAIを使用してYouTube動画をリアルタイムで翻訳・吹き替えすることを発表し、Vimeoも7月に音声と字幕の翻訳をサポートし、AI技術でナレーターの声を複製できるツールを発表しました。その他にも、Descript、ElevenLabs、Speechifyなど、音声クローンやAI翻訳ツールを提供する企業が数多く存在します。

D-IDの新しい動画翻訳技術は、D-ID StudioとそのAPIを通じて提供されます。同社は1ヶ月間のトライアルも提供しており、詳細なデモは公式ウェブサイトで確認できます。最適な効果を得るため、動画の長さは10秒～5分、ファイルサイズは2GB以内とし、動画にはカメラに向かって話す、顔が常に映っているナレーターが一人だけいることが推奨されます。