先日、バイトダンスは、オーディオ条件付き潜在拡散モデルを利用してより正確なリップシンクを実現することを目的とした、LatentSyncという新しいリップシンクフレームワークを発表しました。このフレームワークはStable Diffusionをベースに、時間的一貫性を最適化しています。従来のピクセル空間拡散や2段階生成の方法とは異なり、LatentSyncはエンドツーエンド方式を採用し、中間モーション表現を必要とせず、複雑なオーディオとビジュアル間の関係を直接モデル化できます。LatentSyncの

北京愛詩科技有限公司は、最新バージョンの動画生成大規模言語モデルPixVerse V3を全世界で公開しました。このバージョンでは基盤モデルの能力が大幅に向上し、クリエイティブテンプレート、口パク合わせ、ストーリーの続き書き、スタイル変換など、マルチモーダル生成能力と豊富なAI機能を提供します。

D-IDは最近、AI Video Translateを発表しました。これは、ビデオコンテンツを複数の言語に翻訳し、話者の声をクローン化し、口パクを調整して翻訳内容と映像が完璧に一致するようにする、革新的なAI動画翻訳ツールです。このツールは29言語のバッチレンダリングに対応しており、ユーザーフレンドリーなインターフェースを備えているため、誰でも簡単に使用できます。D-IDはこの技術により、顧客がグローバルなマーケティング、エンターテイメント、ソーシャルメディア活動を展開する際に、ローカリゼーションコストを削減する支援をしています。この技術の発表は、小規模なクリエイターにとって大きな意味を持ちます。

PIKAがリップシンク機能Lip syncを発表、アリババは任意の長さの動画生成が可能なビデオ生成フレームワークEMOEMOを発表。AIによる動画生成ツールの技術が向上を続ける。

アリババのEMOとOpenAI Soraによるテキストから動画を生成するモデルが注目を集める中、EMOフレームワークは、頭部動画生成のリアルさと自然さを向上させました。EMOにより、表情豊かな動的なAIキャラクターアバターの生成が可能になります。EMOは、様々な言語の楽曲や音声データに対応した動画生成をサポートします。異なるキャラクター間の連携も実現しています。