AI技術企業Sync Labsは、Twitterで最新の製品Lipsync-2を発表しました。このモデルは「世界初のゼロショット口パク同期モデル」として称賛されており、追加のトレーニングや微調整なしで、話者の独特なスタイルを維持できます。この画期的な技術は、リアルさ、表現力、制御性、品質、速度のすべてにおいて大幅な向上を実現し、実写ビデオ、アニメーション、AI生成コンテンツに適用できます。

QQ_1744092971287.png

Lipsync-2の革新的な特徴

Sync Labsが4月1日に発表したTwitterのメッセージによると、Lipsync-2の主要な特徴は「ゼロショット」機能です。つまり、特定の話者に対して事前にトレーニングを行う必要がなく、モデルは即座に学習し、その独特の話し方に合わせた口パク同期効果を生成できます。この機能は、従来の口パク同期技術が大量のトレーニングデータに依存していたという常識を覆し、コンテンツ制作者はより効率的にこの技術を利用できるようになります。

さらに、Sync Labsは、Lipsync-2が複数の側面で技術的な飛躍を遂げたことを明らかにしました。実写ビデオ、アニメーションキャラクター、AI生成キャラクターのいずれにおいても、Lipsync-2はより高いリアル感と表現力を提供します。

追加された制御機能：温度パラメータ

ゼロショット機能に加えて、Lipsync-2には「温度」と呼ばれる制御機能が導入されています。このパラメータにより、ユーザーは口パク同期の表現レベルを調整できます。自然でシンプルな同期効果から、より誇張された表現力のある生成効果まで、さまざまなシーンのニーズに対応できます。現在、この機能はプライベートテスト段階にあり、有料ユーザーに段階的に公開されています。

適用分野：多言語教育とコンテンツ制作

Sync Labsは4月3日のTwitter投稿で、Lipsync-2の潜在的な適用事例をさらに示し、「正確性、スタイル、表現力において優れたパフォーマンスを発揮する」と述べ、「あらゆる講義をあらゆる言語で提供する」というビジョンを提示しました。この技術は、ビデオ翻訳や文字レベルの編集だけでなく、キャラクターの再アニメーション化にも役立ち、リアルなAIユーザー生成コンテンツ（UGC）もサポートし、教育、エンターテインメント、マーケティング分野に革命的な変化をもたらします。

業界の反響と将来への期待

Lipsync-2の発表は、すぐに業界の注目を集めました。Sync Labsによると、このモデルはfalプラットフォームで体験版が公開されており、ユーザーはfalのモデルライブラリにアクセスして試すことができます。4月1日の発表以来、Twitter上でのLipsync-2に関する議論は活発化しており、多くのユーザーがその分野横断的な応用可能性に期待を寄せています。

AIビデオ技術の先駆者であるSync Labsは、Lipsync-2を通じて、再びイノベーション分野におけるリーダーシップを証明しました。この技術の普及に伴い、コンテンツ制作のハードルはさらに低くなり、視聴者はより自然で没入感のある視聴体験を楽しむことができるでしょう。