Adobe Researchとノースウェスタン大学が共同開発した画期的なAIシステム「Sketch2Sound」は、簡単な音声模倣とテキスト記述からプロレベルの音響効果を生成できる技術で、サウンドデザイン業界の働き方を根本的に変える可能性を秘めています。

このシステムは、音声入力の3つの主要要素である、ラウドネス（音量）、音色（明るさ）、ピッチ（音高）を分析します。そして、これらの特徴とテキスト記述を組み合わせ、必要な音を生成します。

ビデオ:García 他、Adobe Research

Sketch2Soundの興味深い点は、文脈を理解できることです。例えば、「森の雰囲気」と入力し、短い音を出すと、システムは特別な指示がなくても、その音は鳥の鳴き声であると自動的に認識します。

同じ知能は音楽にも適用されます。ドラムパターンを作成する際、「バスドラム、スネアドラム」と入力し、低音と高音でリズムをハミングすれば、システムは自動的に低音にバスドラム、高音にスネアドラムを配置します。

プロフェッショナルのための精密な制御

研究チームは、生成される音の精度を調整できる特別なフィルタリング技術を組み込んでいます。サウンドデザイナーは、必要に応じて正確で詳細な制御、またはより手軽で近似的な方法を選択できます。

この柔軟性により、Sketch2Soundは、映画やテレビ番組の音響効果を作成するプロフェッショナルであるフォーリーアーティストにとって特に価値があります。物理的なオブジェクトを操作して音を出す必要がなくなり、音声とテキスト記述でより迅速に効果を作成できます。

研究者によると、入力された録音の空間オーディオ特性が、生成される音に望ましくない影響を与える場合がありますが、彼らは現在この問題の解決に取り組んでいます。Adobeは、Sketch2Soundがいつ、あるいは商業製品になるかどうかについてはまだ発表していません。