AIxivコラムは、当サイトが学術的・技術的な内容を掲載するコラムです。過去数年間で、このサイトの AIxiv コラムには 2,000 件を超えるレポートが寄せられ、世界中の主要な大学や企業のトップ研究室がカバーされ、学術交流と普及を効果的に促進しています。共有したい優れた作品がある場合は、お気軽に寄稿するか、報告のために当社までご連絡ください。提出メール: liyazhou@jiqizhixin.com、zhaoyunfeng@jiqizhixin.com
近年、ショートビデオのエコシステムが急速に台頭しており、Meitu のプロフェッショナルな Wink というツールが次々と登場しています。モバイルビデオ編集ツールは、独自のビデオ品質復元機能で業界をリードし、国内外でユーザー数が増加し続けています。 Winkの画質修復機能の人気の背景には、ビデオ編集アプリケーションの需要のリリースが加速する中で、ぼやけた画像、激しいノイズ、低画質などのユーザーのビデオ作成の問題点をMeituが洞察したことが挙げられます。また、Meitu Imaging Research Institute (MT Lab) の強力なビデオ復元およびビデオ強化テクノロジーのサポートにも基づいており、現在、画質復元 - HD、画質復元 - Ultra HD、画質復元 - ポートレート強化、解像度の向上とその他の機能。 最近、Meitu Imaging Research Institute (MT Lab) と中国科学院大学は、未知の照明フリッカー劣化に対処するために、STE に基づく新しいブラインド ビデオ デフリッカ (BVD) 手法、BlazeBVD を提案しました。オリジナルのビデオ コンテンツと色の完全性を可能な限り維持した高品質のビデオが、トップのコンピュータ ビジョン カンファレンス ECCV 2024 に受け入れられました。 
- 論文連結：https://arxiv.org/pdf/2403.06243v1
BlazeBVD 針對的是視訊閃爍場景，影片閃爍容易對時間一致性影響視訊輸出的必要條件，即使是微弱的視訊閃爍也有可能嚴重影響觀看體驗。究其原因，一般是由拍攝環境不佳和拍攝設備的硬體限制所引起，而當影像處理技術應用於視訊畫面時，這個問題往往進一步加劇。此外，閃爍偽影和色彩失真問題在最近的視訊生成任務中也經常出現，包括基於生成對抗網路 (GAN) 和擴散模型 (DM) 的任務。因此在各種視訊處理場景中，探索透過 Blind Video Deflickering (BVD) 來消除影片閃爍並保持影片內容的完整性至關重要。 BVD 任務不受視頻閃爍原因和閃爍程度的影響，具有廣泛的應用前景，目前對此類任務的關注，主要包括老電影修復、高速相機拍攝、色彩失真處理等與視頻閃爍類型、閃爍程度無關的任務，以及僅需在單一閃爍影片上操作，而不需要影片閃爍類型、參考影片輸入等額外指導資訊的任務。此外，BVD 現主要集中在傳統濾波、強制時序一致性和地圖集等方法，所以儘管深度學習方法在BVD 任務中取得了重大進展，但由於缺乏先驗知識，在應用層面上受到較大阻礙， BVD 仍面臨許多挑戰。 受經典的閃爍去除方法尺度時間均衡 (scale-time equalization, STEaze, STEaze 引入了直方直方直方。影像直方圖被定義為像素值的分佈，它被廣泛應用於影像處理，以調整影像的亮度或對比度，給定任意視頻，STE 可以透過使用高斯濾波平滑直方圖，並使用直方圖均衡化校正每幀中的像素值，從而提高影片的視覺穩定性。雖然 STE 只對一些輕微的閃爍有效，但它驗證了：
- 直方圖比像素值緊湊得多，可以很好地描繪光亮和閃爍資訊。
因此，利用 STE 和直方圖的提示來提高盲視頻去閃爍的質量和速度是可行的。 BlazeBVD 透過對這些直方圖進行平滑處理，產生奇異幀集合、濾波光照圖和曝光遮罩圖，可以在光照波動和曝光過度或不足的情況下實現快速、穩定的紋理恢復。與以往的深度學習方法相比，BlazeBVD 首次細緻地利用直方圖來降低BVD 任務的學習複雜度，簡化了學習視訊資料的複雜性和資源消耗，其核心是利用STE 的閃爍先驗，包括用於指導消除全域閃爍的濾波照明圖、用於識別閃爍幀索引的奇異幀集，以及用於識別局部受曝或過暗影響的區域的曝光圖。 同時，利用閃爍先驗，BlazeBVD 結合了一個全局閃爍去除模組(GFRM) 和一個局部閃爍去除模組(LFRM)，有效地矯正了個別相鄰幀的全局照明和局部曝光紋理。此外，為了增強幀間的一致性，還整合了一個輕量級的時序網路 (TCM)，在不消耗大量時間的情況下提高了效能。 
圖1：BlazeBVD 方法與現有方法在盲視訊去閃爍任務上的結果進行比較 首先，引入STE將視訊畫面在光照空間下的直方圖序列進行校正，擷取包含奇異幀集、濾波後的光照圖和曝光圖在內的閃爍先驗。
其次，由於濾波後的照明映射具有穩定的時間性能，它們將被用作包含 2D 網路的全局閃爍去除模組 (GFRM) 的提示條件，以指導視頻幀的顏色校正。另一方面，局部閃爍去除模組 (LFRM) 是基於光流資訊來恢復局部曝光圖標記的過曝或過暗區域。 最後，引入一個輕量級的時序網路 (TCM) 來處理所有幀，其中設計了一個自適應掩模加權損失來提高視訊一致性。
-
透過合成視訊、真實視訊和生成視訊的綜合實驗，展示了 BlazeBVD 優越的定性和定量結果，實現了比最先進的模型推理速度快 10 倍的模型推理速度。
azeH
大量的實驗表明，盲視頻閃爍任務的通用方法——BlazeBVD，在合成資料集和真實資料集上優於先前的工作，且消融實驗也驗證了BlazeBVD 所設計模組的有效性。 表1：與基線使用 圖3：與基線方法的視覺化比較
圖
該論文提出了一種用於盲視頻閃爍任務的通用方法BlazeBVD，利用2D 網絡修復受光照變化或局部曝光問題影響的低質量閃爍影片.其核心是在照明空間的STE 濾波器內預處理閃爍先驗；再利用這些先驗，結合全局閃爍去除模組(GFRM) 和局部閃爍去除模組(LFRM)，對全局閃爍和局部曝光紋理進行校正；最後，利用輕量級的時序網(TCM) 來提高視訊的相干性和幀間一致性，此外在模型推理方面也實現了10 倍的加速。
作為中國影像與設計領域的探索者，美圖不斷推出便捷高效的AI 功能，為用戶帶來創新服務和體驗，美圖影像研究院（MT Lab）作為核心研發中樞，將持續迭代升級AI 能力，為影片創作者提供全新的影片創作方式，開啟更廣闊的天地。 以上がECCV 2024｜Meituと中国国立科学技術大学が共同提案したブラインドビデオのちらつき除去の一般的な手法「BlazeBVD」が登場の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。
