最近、Adobe Researchとノースウェスタン大学が共同で開発したSketch2SoundというAIシステムが登場し、サウンドデザイナーの仕事のやり方を一変させる可能性を秘めています。Sketch2Soundを使えば、ハミング、音の模倣、簡単なテキストによる説明だけで、プロフェッショナルな効果音や環境音を制作できます。

このシステムは、ユーザーの声帯からの入力における3つの重要な要素、音量、音色（明るいか暗いかを決定する）、音高を分析します。その後、これらの特徴とユーザーのテキスト説明を組み合わせて、必要な音を生成します。例えば、「森の雰囲気」と入力して短い音を出すと、具体的な指示がなくても、システムはそれを鳥の鳴き声として自動的に認識します。

image.png

Sketch2Soundのもう一つの大きな特徴は、文脈を理解する能力です。音楽制作では、「ベースドラム、スネアドラム」と入力し、リズムをハミングで入力できます。システムは、ベースドラムを低音のノートに、スネアドラムを高音のノートにインテリジェントに配置します。このインテリジェントな処理により、サウンドデザインのプロセスが大幅に簡素化されます。

専門家のニーズを満たすために、研究チームは特別なフィルタリング技術を組み込み、ユーザーが必要に応じて生成された音の精度を調整できるようにしています。サウンドデザイナーは、非常に正確な制御を選択することも、よりリラックスした、近似的な方法を選択することもでき、この柔軟性により、Sketch2Soundは特にフォーリーアーティストに人気が出そうです。映画やテレビ番組の効果音を制作するこれらの専門家は、このツールを使用することで、物体を操作して音を出す必要がなくなり、音声とテキストの説明だけでより迅速に効果音を制作できます。

研究者によると、入力された録音の音響特性が、生成された音に悪影響を与える場合があるとのことですが、彼らは現在この問題の解決に取り組んでいます。現時点では、AdobeはSketch2Soundを商用製品として発売するかどうか、具体的な発売時期については発表していません。

プロジェクト入口:https://hugofloresgarcia.art/sketch2sound/

要点:

🎵 Sketch2Soundは、ハミングとテキストの説明で効果音を生成できる新しく開発されたAIツールです。

🔊 このシステムは音量、音色、音高を分析し、ユーザーの音声入力とテキストを組み合わせて目標の音響を生成します。

🎬 フォーリーアーティストに特に適しており、映画やテレビ番組の効果音を迅速に生成し、作業効率を向上させます。