ECCV 2024｜BlazeBVD, a general method for blind video de-flickering, is here, jointly proposed by Meitu and the National University of Science and Technology of China

The AIxiv column is a column where this site publishes academic and technical content. In the past few years, the AIxiv column of this site has received more than 2,000 reports, covering top laboratories from major universities and companies around the world, effectively promoting academic exchanges and dissemination. If you have excellent work that you want to share, please feel free to contribute or contact us for reporting. Submission email: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

In recent years, the short video ecosystem has rapidly emerged, and creative and editing tools around short videos are constantly emerging. Meitu’s professional Wink, a mobile video editing tool, takes the lead with its unique video quality restoration capabilities, and the number of users at home and abroad continues to rise.

Behind the popularity of Wink’s image quality repair function is Meitu’s insight into users’ video creation pain points such as blurry images, severe noise, and low image quality amid the accelerated release of demand for video editing applications. At the same time, it is also based on the powerful video restoration and video enhancement technology support of Meitu Imaging Research Institute (MT Lab). It has currently launched Image Quality Restoration - HD, Image Quality Restoration - Ultra HD, Image Quality Restoration - Portrait Enhancement, and Resolution. Rate improvement and other functions.

Recently, Meitu Imaging Research Institute (MT Lab) and the University of Chinese Academy of Sciences have proposed a new blind video deflickering (BVD) method based on STE, BlazeBVD, to deal with illumination flicker degradation. Unknown low-quality video, keeping the integrity of the original video content and color as much as possible, has been accepted by the top computer vision conference ECCV 2024.

• 論文リンク: https://arxiv.org/pdf/2403.06243v1

BlazeBVD は、ビデオのちらつきが時間の一貫性に影響を与えやすいシナリオを目的としていますが、時間の一貫性は高品質であることが必要です。ビデオ出力の条件によっては、ビデオのちらつきが弱い場合でも、視聴体験に重大な影響を与える可能性があります。その原因は一般的に劣悪な撮影環境や撮影機材のハードウェア制限によって引き起こされますが、ビデオフレームに画像処理技術が適用されると、この問題はさらに悪化することがよくあります。さらに、敵対的生成ネットワーク (GAN) や拡散モデル (DM) に基づくものなど、最近のビデオ生成タスクでも、ちらつきアーティファクトや色の歪みの問題が頻繁に発生します。したがって、さまざまなビデオ処理シナリオでは、ビデオのちらつきを排除し、ビデオ コンテンツの整合性を維持するためにブラインド ビデオ デフリッカー (BVD) を検討することが重要です。

BVD タスクはビデオのちらつきの原因や程度に影響されず、現在主に古い映画の復元、高速カメラ撮影、色の歪み処理など幅広い応用が期待されています。 、などとビデオのフリッカー タイプ、フリッカーの程度とは関係のないタスク、およびビデオのフリッカー タイプや参照ビデオ入力などの追加のガイダンス情報を必要とせずに、単一のフリッカー ビデオを操作するだけでよいタスク。さらに、BVD は現在、従来のフィルタリング、強制時間的整合性、およびアトラス手法に主に焦点を当てています。そのため、深層学習手法は BVD タスクにおいて大幅な進歩を遂げていますが、事前知識の欠如により、アプリケーション レベルでは大きな妨げとなっています。 BVD は依然として多くの課題に直面しています。

BlazeBVD: ブラインド ビデオのフリッカー除去効果を効果的に改善します

古典的なフリッカー除去方法であるスケールタイム イコライゼーション (STE) からインスピレーションを得た BlazeBVD は、ヒストグラム支援ソリューションを導入しています。画像ヒストグラムは、ピクセル値の分布として定義され、任意のビデオに対して、ガウス フィルタリングを使用してヒストグラムを平滑化し、ヒストグラム イコライゼーションを使用して各画像を補正することができます。フレーム内のピクセル値を変更することで、ビデオの視覚的な安定性が向上します。 STE は一部の軽微なちらつきに対してのみ効果がありますが、次のことが検証されます。

1. ヒストグラムはピクセル値よりもはるかにコンパクトで、光とちらつきの情報を適切に描写できます。
2. ヒストグラムシーケンスの平滑化後のビデオには、視覚的に明らかなちらつきはありません。

したがって、STE とヒストグラムからの手がかりを利用して、ブラインド ビデオのちらつき除去の品質と速度を向上させることが可能です。

BlazeBVD は、これらのヒストグラムを平滑化することにより、特異なフレーム コレクション、フィルターされたライト マップ、および露出マスク マップを生成し、照明の変動や露出過多または露出不足が存在する場合でも、高速かつ安定したテクスチャ回復を実現します。以前のディープ ラーニング手法と比較して、BlazeBVD はヒストグラムを慎重に使用して BVD タスクの学習の複雑さを初めて軽減し、ビデオ データの学習の複雑さとリソース消費を簡素化します。その中心は、A フィルター処理を含む STE の前にフリッカーを使用することです。グローバルなフリッカーの除去をガイドするイルミネーション マップ、フリッカー フレーム インデックスを特定する単一フレーム セット、および露出過度や暗さによって局所的に影響を受ける領域を特定する露出マップです。

同時に、BlazeBVD はフリッカー事前分布を使用して、グローバル フリッカー除去モジュール (GFRM) とローカル フリッカー除去モジュール (LFRM) を組み合わせて、個々の隣接フレームのグローバル イルミネーションとローカル露出テクスチャを効果的に補正します。さらに、フレーム間の一貫性を高めるために、軽量タイミング ネットワーク (TCM) が統合されており、多くの時間を費やすことなくパフォーマンスが向上します。

️図 1: ブラインド ビデオのフリッカー除去タスクにおける BlazeBVD 手法と既存の手法の結果の比較

具体的には、BlazeBVD には 3 つのステージが含まれています:

まず、STE を導入します。照明空間内のビデオ フレームのヒストグラム シーケンスが修正され、特異なフレーム セット、フィルタリングされた照明マップ、および露出マップを含むフリッカ プリアが抽出されます。

• 第 2 に、フィルタリングされたイルミネーション マップは安定した時間パフォーマンスを備えているため、ビデオ フレームの色補正をガイドする 2D ネットワークを含むグローバル フリッカー除去モジュール (GFRM) のキュー条件として使用されます。一方、ローカル フリッカー除去モジュール (LFRM) は、オプティカル フロー情報に基づいて、ローカル露出マップによってマークされた露出過度または暗いエリアを回復します。
• 最後に、すべてのフレームを処理するために軽量テンポラル ネットワーク (TCM) が導入され、ビデオの一貫性を向上させるために適応型マスク重み付け損失が設計されています。

合成ビデオ、実際のビデオ、生成されたビデオに関する包括的な実験を通じて、BlazeBVD の優れた定性的および定量的結果を実証し、最先端のモデルよりも 10 倍速いモデル推論速度を達成しました。推論速度。

図 2: BlazeBVD のトレーニングと推論のプロセス

実験結果

多数の実験により、ブラインドビデオフラッシュタスクの一般的な方法であるBlazeBVDが、データセットや実際のデータセットに関する以前の研究よりも優れており、アブレーション実験でもBlazeBVDによって設計されたモジュールの有効性が検証されています。

図 3: ベースライン手法との視覚的な比較

図 4: アブレーション実験

画像技術を使用して生産性を向上

これこの論文では、2D ネットワークを使用して、照明の変化やビデオの局所的な露出の問題によって影響を受ける低品質のフリッカーを修復する、ブラインド ビデオ フリッカー タスク用の一般的な方法 BlazeBVD を提案しています。その核心は、照明空間の STE フィルター内でフリッカー事前処理を前処理し、これらの事前処理をグローバル フリッカー除去モジュール (GFRM) およびローカル フリッカー除去モジュール (LFRM) と組み合わせて使用​​し、グローバル フリッカーとローカル露出テクスチャを補正することです。最後に、軽量テンポラル ネットワーク (TCM) を使用してビデオの一貫性とフレーム間の一貫性を向上させ、モデル推論で 10 倍の高速化も実現します。

中国のイメージングとデザイン分野の探求者として、Meitu は中核となる研究開発センター、Meitu Imaging Research Institute (MT Lab) として、便利で効率的な AI 機能をリリースし続け、革新的なサービスとエクスペリエンスをユーザーに提供します。今後も AI 機能を繰り返しアップグレードして、ビデオクリエイターに新しいビデオ作成方法を提供し、より広い世界を切り開いていきます。

The above is the detailed content of ECCV 2024｜BlazeBVD, a general method for blind video de-flickering, is here, jointly proposed by Meitu and the National University of Science and Technology of China. For more information, please follow other related articles on the PHP Chinese website!