シンガポール南洋理工大学の研究チームは先日、SOLAMIと呼ばれるAI技術を発表しました。この技術は、生き生きとした3Dバーチャルキャラクターを作成することができ、VRの世界でユーザーとリアルタイムにインタラクトするだけでなく、音声や動作を理解し、会話、ダンス、さらにはボクシングまで可能です！これはゲーム、バーチャルソーシャル、そして独身者にとって朗報と言えるでしょう！SOLAMIはエンドツーエンドのソーシャルビジュアル-言語-アクション（VLA）モデリングフレームワークであり、深層学習技術を用いて、ユーザーの音声と動作をバーチャルキャラクターが理解できる「言語」に変換します。

ビデオ品質は視聴体験に直接影響を与え、特に顔のディテールは重要です。従来の手法では、超解像度ネットワークを顔のデータセットに単純に適用したり、各フレームを個別に処理したりすることが多く、顔の再構築におけるディテールと時間的一貫性の両立が困難でした。この課題を解決するため、南洋理工大学研究チームは革新的なフレームワークKEEPを発表しました。カルマンフィルターの原理を利用して顔の修復における「記憶」機能を実現し、修復プロセスにおける顔のディテールの一貫性と連続性を大幅に向上させます。KEEPフレームワークは、エンコーダー、デコーダー、カルマンフィルターの3つの主要なモジュールで構成されています。

北京大学の袁粒研究室と南洋理工大学、清華大学自動化研究所の研究者らが共同で、スケッチ、絵画、低解像度画像などからでも正確にユーザーのニーズに合致する革新的な画像検索技術を開発しました。この技術の中核をなすのは「汎用スタイル検索」手法であり、テキスト、スケッチ、絵画などの組み合わせを含む様々な検索スタイルに対応し、検索の柔軟性と正確性を大幅に向上させます。研究チームは、DSRとImageNet-Xのデータセットを構築し、新手法の訓練とテストのためのリソースを提供しています。FreestyleR

南洋理工大学のチームがInsActorフレームワークを発表しました。拡散型人体運動モデルを採用し、指示からリアルな物理アニメーションを生成します。InsActorは拡散戦略によって条件付き運動計画を実現し、高度な人間の指示とキャラクターの動作の複雑な関係を捉えます。実験により、InsActorは指示駆動型運動生成と航路点誘導タスクにおいて最先端の結果を達成することが実証されました。フレームワークの柔軟性により、アニメーションをカスタマイズでき、幅広い適用性を示し、視覚的な魅力を維持しながら物理的な実現可能性も維持します。研究によると、InsActorは長時間タスクにおいても自然なアニメーションを生成します。