動画制作や画像処理の分野において、動画の「フリッカー除去」技術は、動画の品質向上に欠かせない要素です。技術の進歩に伴い、BlazeBVDと呼ばれる新しいフリッカー除去アルゴリズムが登場しました。これは、動画のフリッカーを迅速に除去するだけでなく、動画の内容の完全性と色の自然さを維持することができます。

BlazeBVD(Blaze Blind Video Deflickeringの略)は、自動化された動画フリッカー除去技術です。未知の動画劣化状況下でも、動画の時間的一貫性を効果的に向上させることができます。この技術の登場は、動画の後期制作に革命的な変化をもたらしました。

image.png

動画のフリッカー問題は、撮影環境、カメラのハードウェア制限、または画像処理技術によって発生することが一般的です。これらの問題は、動画のフレーム間に明るさや色の不一致を引き起こし、視聴体験を著しく損ないます。そのため、フリッカーを除去し、動画の内容の完全性を維持できる技術の開発が非常に重要になります。

image.png

BlazeBVDの動作原理

BlazeBVD技術の中核は、古典的な尺度時間均衡(Scale-Time Equalization、STE)手法を活用している点にあります。動画フレームのヒストグラムを処理することで、フリッカーと局所的な露出変化を捉えます。このプロセスには、以下の重要なステップが含まれます。

ヒストグラムアシスト:BlazeBVDはまず、画素値を照明ヒストグラムに圧縮します。これらのヒストグラムは、フリッカーと局所的な露出変化を正確に捉えることができます。

STEフィルタリング:STE手法を用いて、照明ヒストグラムを平滑化処理し、単一フレーム集合、フィルタリング済みの照明マップ、露出マップを生成します。

グローバルおよびローカルフリッカー除去モジュール:BlazeBVDは、2Dネットワークを使用して、照明変化や局所的な露出問題の影響を受けたテクスチャを復元し、軽量な3Dネットワークを使用して、軽微な時間的不一致を修正します。

適応型時間的一貫性:最後に、BlazeBVDは軽量な時空間ネットワークを使用してすべてのフレームを処理し、適応型マスク加重変形損失を設計することで、動画の一貫性を向上させます。

合成動画、現実世界の動画、生成動画における包括的な実験を通じて、BlazeBVDは優れた定性的および定量的結果を示しました。フリッカーを除去しながら動画の品質を維持するだけでなく、推論速度においても既存技術の10倍に達しています。

BlazeBVD技術の応用範囲は広く、動画編集、映画の後期制作、動画コンテンツ生成など、多くの分野で活用できます。技術の進歩に伴い、BlazeBVDは動画処理分野の新たな標準となる可能性があります。

論文アドレス:https://arxiv.org/html/2403.06243v1