テンセントは最近、LVCD（Large Video Color Diffusion）という革新的なプロジェクトを発表しました。これは、アニメーションビデオの線画を着色するためのツールです。LVCDは、白黒の線画を自動的にカラーアニメーションビデオに変換でき、画期的な機能を備えています。

効率的な線画アニメーションビデオの色付け

LVCDは、新しいビデオ拡散フレームワークであり、参照ベースの線画アニメーションビデオの色付けを実現することを目指しています。従来の、画像生成モデルに依存して線画をフレームごとに色付けする方法とは異なり、この方法は、大規模に事前学習されたビデオ拡散モデルを使用して、色彩豊かなアニメーションビデオを生成します。この革新的な方法は、時間的一貫性をより高く保つことができ、大幅な動きもより効率的に処理できます。

スケッチガイド付きControlNet

LVCDは、スケッチガイド付きControlNet技術を導入しました。これは、画像からビデオへの拡散モデルに追加の制御を提供し、アニメーションビデオの生成を線画に基づいてより適切に制御できるようにします。この技術は、アニメーション生成の制御性と品質を大幅に向上させます。

参照アテンションメカニズム

LVCDは、参照アテンションメカニズムも提案しています。このメカニズムは、参照フレームの色を他のフレームに効果的に転送することができます。特に、高速で広範囲の動きがあるシーンで有効です。この機能により、アニメーション制作において、複雑な動きの中でも色の統一性を維持できます。

新規のシーケンシャルサンプリング技術

推論段階では、LVCDは新しいシーケンシャルサンプリングスキームを採用し、オーバーラップ混合モジュールと先行参照アテンションを組み合わせることで、従来の固定長制限を超えて、時間的に一貫性のある長いシーケンスのカラーアニメーションを生成できます。つまり、LVCDは、手描き線画や自動生成線画など、さまざまな種類の線画入力に対応し、長さの制限のない長時間ビデオを生成できます。

主要機能

参照フレームに基づく効率的な線画アニメーションビデオの色付け：LVCDは、参照フレームの色情報を活用して、これらの色を他のフレームに正確に転送できます。

スケッチガイド付きControlNet：アニメーション生成の制御性を向上させます。

参照アテンションメカニズム：高速な動きの中でも色の統一性を確保します。

新規のシーケンシャルサンプリング技術：ビデオ生成の時間を延長します。

フレームとビデオの品質の大幅な向上：複雑なアニメーション制作シーンに適しています。

実験結果

LVCDの実験結果は、この方法が、フレームとビデオの品質、時間的一貫性の点で、既存の最先端技術を大幅に上回っていることを示しています。高品質で時間的に一貫性のある長時間アニメーションの生成により、LVCDはアニメーション制作に新しいソリューションを提供し、複雑なアニメーションの制作をより効率的で直感的になります。

この技術の発表は、テンセントがアニメーション制作分野で大きく前進したことを示しており、将来、アニメーション制作者にさらなる利便性と創作の自由をもたらすでしょう。

プロジェクトアドレス：https://luckyhzt.github.io/lvcd