シンガポール南洋理工大学の研究チームは最近、SOLAMIというAI技術を発表しました。この技術は、まるで生きているかのような3D仮想キャラクターを作成し、VR世界でリアルタイムにユーザーとインタラクトすることができます。音声や動作を理解し、会話したり、一緒に踊ったり、ボクシングさえも可能です！これはゲーム、仮想的なソーシャル交流、そして独身者にとって朗報と言えるでしょう！
SOLAMIは、エンドツーエンドの社会視覚言語行動（VLA）モデリングフレームワークです。深層学習技術を利用して、ユーザーの音声と動作を仮想キャラクターが理解できる「言語」に変換し、それに対応する音声と動作で応答を生成します。簡単に言うと、ユーザーの音声と動作をAIが理解できる言語に翻訳し、仮想キャラクターが自然で滑らかな反応を示すようにするのです。従来のAIキャラクターの硬直感や機械的な動きとは一線を画します。
このAI「社交の達人」を訓練するために、研究チームは大変な苦労をしました。
彼らはSynMSIという合成データセットを作成しました。そこには膨大な量の会話、動作、音声データが含まれています。これらのデータは、既存の動作データベースと強力な言語モデルを使用して、綿密に設計・処理されたものです。
さらに素晴らしいことに、SOLAMIはVRインターフェースを搭載しており、仮想キャラクターと没入感のあるインタラクションが可能です。
VRデバイスを装着すると、仮想キャラクターが目の前に現れ、会話したり、動作をしたりします。まるで現実のソーシャルシーンにいるかのような感覚です。
研究チームは、SOLAMI技術の応用範囲は非常に広く、将来はゲーム、仮想ソーシャル、教育訓練など多くの分野を革新する可能性があると述べています。
例えば、ゲーム内のNPCキャラクターはより賢くなり、より人間らしいインタラクションが可能になります。仮想ソーシャルプラットフォーム上の仮想アバターはよりパーソナライズされ、仮想世界でも志を同じくする友人を見つけやすくなります。さらには、仮想教師を作成し、学習をより生き生きと楽しくすることもできます。
もちろん、SOLAMIはまだ研究段階ですが、その巨大な可能性はテクノロジー業界を興奮させています。
研究チームは一連の実験を通じて、SOLAMIが動作の質、音声の質、反応速度において、既存の方法よりも優れていることを証明しました。さらに重要なのは、ユーザーテストの結果、皆がSOLAMIが作成した仮想キャラクターに非常に満足しているということです。「AIの妻/夫」時代が本当に来るかもしれません！
SOLAMI技術の主要な特徴：
エンドツーエンドVLAモデル：ユーザーの音声と動作を仮想キャラクターの音声と動作への応答に直接変換し、自然で滑らかなインタラクション体験を実現します。
SynMSI合成データセット：既存の動作データセットと大規模言語モデルを利用して、大量のマルチターン・マルチモーダルな会話データを自動生成し、トレーニングデータの不足という問題を解決します。
没入型VRインターフェース：ユーザーはVRデバイスを通じて仮想キャラクターと直接対話でき、よりリアルなインタラクション体験ができます。
よりスマートで、より人間味のある：SOLAMIは、よりスマートでリアルな仮想キャラクターを作成し、仮想インタラクション体験により「人間味」を与えます。
研究チームは、SOLAMI技術の応用範囲は非常に広く、ゲーム、仮想ソーシャル、教育訓練など多くの分野に利用できると述べています。例えば、ゲームでは、よりスマートでリアルなNPCキャラクターを作成し、プレイヤーのゲーム体験を向上させることができます。仮想ソーシャルでは、よりパーソナライズされた仮想アバターを作成し、仮想ソーシャルの没入感を高めることができます。教育訓練では、より生き生きとした仮想教師を作成し、教育効果を高めることができます。
研究チームは一連の実験を行い、その結果、SOLAMI技術は動作の質、音声の質、推論遅延の点で既存の他の方法よりも優れていることが示されました。ユーザー調査でも、ユーザーはSOLAMI技術で構築された3D仮想キャラクターに非常に満足していることが示されました。
現在、SOLAMI技術はまだ研究段階ですが、将来の発展の可能性は大きく、よりスマートで、より人間味のある仮想インタラクション体験をもたらしてくれるでしょう。
プロジェクトホームページ：https://solami-ai.github.io/
