最近、Adobeリサーチチームとミシガン大学の研究者らが共同で、映画や動画のサウンドエフェクトを生成するAIシステム「MultiFoley」を開発しました。このシステムは、ポストプロダクションを支援します。MultiFoleyの革新的な点は、テキストプロンプト、参照オーディオ、またはビデオサンプルを使用してサウンドエフェクトを作成できる点です。デモでは、猫の鳴き声をライオンの咆哮に変換したり、タイプライターの音をピアノの音符に変換したり、動画と完璧に同期させることに成功しています。

魅力的なビデオを作成する際には、ビジュアル効果だけでなく、オーディオも重要な役割を果たします。しかし、適切なサウンドエフェクトを見つける、または作成することは、多くの時間を要する作業です。Adobeの年次MAXカンファレンスで、同社はProject Super Sonicという実験的なプロトタイプを発表しました。この技術は、テキストからサウンドエフェクトを生成し、ビデオ内のオブジェクトを認識し、さらにはあなたの声を利用して、ビデオプロジェクトに背景サウンドエフェクトやサウンドエフェクトを迅速に生成できます。テキストプロンプトからサウンドエフェクトを生成する機能は一見…