ECCV 2024｜盲视频去闪烁通用方法BlazeBVD来了，美图&国科大联合提出

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

近年，短视频生态的赛道迅猛崛起，围绕短视频而生的创作编辑工具在不断涌现，美图公司旗下专业手机视频编辑工具 ——Wink，凭借独创的视频画质修复能力独占鳌头，海内外用户量持续攀升。

Wink 画质修复功能火爆的背后，是美图在视频编辑应用需求加速释放背景下，对用户视频画面模糊不清、噪点严重、画质低等视频创作痛点的洞察，与此同时，也建立在美图影像研究院（MT Lab）强有力的视频修复与视频增强技术支持下，目前已推出画质修复 - 高清、画质修复 - 超清、画质修复 - 人像增强、分辨率提升等功能。

日前，美图影像研究院（MT Lab）联合中国科学院大学更突破性地提出了基于 STE 的盲视频去闪烁 (blind video deflickering, BVD) 新方法 BlazeBVD，用于处理光照闪烁退化未知的低质量视频，尽可能保持原视频内容和色彩的完整性，已被计算机视觉顶会 ECCV 2024 接收。

• Pautan kertas: https://arxiv.org/pdf/2403.06243v1

BlazeBVD ditujukan untuk senario berkelipan video. Konsistensi masa yang diperlukan boleh menjejaskan masa dengan mudah keadaan untuk output video, walaupun kelipan video yang lemah mungkin menjejaskan pengalaman tontonan dengan serius. Sebabnya biasanya disebabkan oleh persekitaran penangkapan yang lemah dan had perkakasan peralatan penangkapan, dan apabila teknologi pemprosesan imej digunakan pada bingkai video, masalah ini sering menjadi lebih teruk. Selain itu, artifak kelipan dan isu herotan warna juga kerap timbul dalam tugas penjanaan video baru-baru ini, termasuk tugasan berdasarkan rangkaian musuh generatif (GAN) dan model resapan (DM). Oleh itu, dalam pelbagai senario pemprosesan video, adalah penting untuk meneroka Penyahkelipan Video Buta (BVD) untuk menghapuskan kelipan video dan mengekalkan integriti kandungan video.

Tugas BVD tidak terjejas oleh punca dan tahap kelipan video, dan mempunyai pelbagai prospek aplikasi Tumpuan semasa pada tugas tersebut terutamanya termasuk pemulihan filem lama, rakaman kamera berkelajuan tinggi, pemprosesan herotan warna , dsb. dan jenis kelipan video , tugasan yang tiada kaitan dengan tahap kelipan dan tugasan yang hanya perlu beroperasi pada satu video kelipan tanpa memerlukan maklumat panduan tambahan seperti jenis kelipan video, input video rujukan, dsb. Di samping itu, BVD kini tertumpu terutamanya pada penapisan tradisional, ketekalan temporal paksa, dan kaedah atlas Oleh itu, walaupun kaedah pembelajaran mendalam telah mencapai kemajuan yang ketara dalam tugasan BVD, ia sangat terhalang pada peringkat aplikasi kerana kekurangan pengetahuan sedia ada. BVD masih menghadapi pelbagai cabaran.

BlazeBVD: Memperbaiki kesan penyahkelipan video buta secara berkesan

Diinspirasikan oleh kaedah penyingkiran kelipan klasik penyamaan skala-masa (STE), memperkenal penyelesaian his.BVD Histogram imej ditakrifkan sebagai taburan nilai piksel Ia digunakan secara meluas dalam pemprosesan imej untuk melaraskan kecerahan atau kontras imej Memandangkan video sewenang-wenangnya, STE boleh melicinkan histogram dengan menggunakan penapisan Gaussian dan membetulkan setiap imej menggunakan penyamaan histogram. nilai piksel dalam bingkai, dengan itu meningkatkan kestabilan visual video. Walaupun STE hanya berkesan untuk beberapa kelipan kecil, ia mengesahkan:

1. Histogram jauh lebih padat daripada nilai piksel dan boleh menggambarkan maklumat cahaya dan kelipan dengan baik.
2. Video selepas pelicinan jujukan histogram tidak mempunyai kelipan yang jelas secara visual.

Oleh itu, adalah wajar untuk menggunakan isyarat daripada STE dan histogram untuk meningkatkan kualiti dan kelajuan penyahkelipan video buta.

BlazeBVD menjana koleksi bingkai tunggal, peta cahaya yang ditapis dan peta topeng pendedahan dengan melicinkan histogram ini untuk mencapai pemulihan tekstur yang cepat dan stabil dengan kehadiran turun naik pencahayaan dan pendedahan berlebihan atau kurang. Berbanding dengan kaedah pembelajaran mendalam sebelumnya, BlazeBVD menggunakan histogram dengan teliti untuk mengurangkan kerumitan pembelajaran tugasan BVD buat kali pertama, memudahkan kerumitan dan penggunaan sumber data video pembelajaran Intinya ialah menggunakan kelipan sebelum STE, termasuk untuk A ditapis peta pencahayaan yang membimbing penyingkiran kelipan global, set bingkai tunggal yang mengenal pasti indeks bingkai kelipan dan peta pendedahan yang mengenal pasti kawasan yang terjejas secara setempat oleh pendedahan berlebihan atau kegelapan.

Pada masa yang sama, menggunakan prior flicker, BlazeBVD menggabungkan modul penyingkiran kelipan global (GFRM) dan modul penyingkiran kelipan tempatan (LFRM) untuk membetulkan pencahayaan global dan tekstur pendedahan tempatan bagi bingkai bersebelahan individu dengan berkesan. Selain itu, untuk meningkatkan ketekalan antara bingkai, rangkaian pemasaan ringan (TCM) disepadukan, meningkatkan prestasi tanpa memakan banyak masa.

                                                                                                                                                                                                                                                                                                                                       ^{Rajah 1: Perbandingan hasil antara kaedah BlazeBVD video de-} yang sedia ada pada tugasan buta

Secara khusus, BlazeBVD merangkumi tiga peringkat:

• Perkenalkan STE The jujukan histogram bagi bingkai video dalam ruang pencahayaan dibetulkan, dan kelipan sebelumnya termasuk set bingkai tunggal, peta pencahayaan yang ditapis dan peta pendedahan diekstrak.
• Kedua, memandangkan peta pencahayaan yang ditapis mempunyai prestasi temporal yang stabil, ia akan digunakan sebagai syarat kiu untuk Global Flicker Removal Module (GFRM) yang mengandungi rangkaian 2D untuk membimbing pembetulan warna bingkai video. Sebaliknya, Modul Penyingkiran Flicker Tempatan (LFRM) memulihkan kawasan yang terlalu terdedah atau gelap yang ditandakan oleh peta pendedahan tempatan berdasarkan maklumat aliran optik.
• Akhir sekali, rangkaian temporal ringan (TCM) diperkenalkan untuk memproses semua bingkai, di mana kehilangan wajaran topeng adaptif direka untuk meningkatkan ketekalan video.

Melalui eksperimen komprehensif pada video sintetik, video sebenar dan video yang dijana, kami menunjukkan hasil kualitatif dan kuantitatif BlazeBVD yang unggul, mencapai kelajuan inferens model yang 10 kali lebih pantas daripada model terkini kelajuan inferens.

^{Rajah 2: Proses Latihan dan Kesimpulan Blazebvd}

Experimental Hasil

A banyak eksperimen telah menunjukkan bahawa blazebvd, kaedah umum untuk tugas video buta, berkesan dalam mensintesis Ia lebih baik daripada kerja sebelumnya pada set data dan set data sebenar, dan eksperimen ablasi juga mengesahkan keberkesanan modul yang direka oleh BlazeBVD. .

Rajah 4: Eksperimen Ablasi

^{Menggunakan teknologi pengimejan untuk membantu produktiviti}

Ini kertas mencadangkan kaedah umum BlazeBVD untuk tugasan kelipan video buta, menggunakan rangkaian 2D untuk membaiki kelipan berkualiti rendah yang terjejas oleh perubahan pencahayaan atau video masalah pendedahan setempat. Terasnya adalah untuk mempraproses kerlipan prior dalam penapis STE dalam ruang pencahayaan, kemudian gunakan prior ini, digabungkan dengan modul penyingkiran kelipan global (GFRM) dan modul penyingkiran kelipan tempatan (LFRM), untuk membetulkan kelipan global dan tekstur pendedahan tempatan; Akhir sekali, rangkaian temporal ringan (TCM) digunakan untuk meningkatkan keselarasan dan ketekalan antara bingkai video, dan juga mencapai pecutan 10x dalam inferens model.

Sebagai peneroka dalam bidang pengimejan dan reka bentuk di China, Meitu terus melancarkan fungsi AI yang mudah dan cekap untuk membawa perkhidmatan dan pengalaman yang inovatif kepada pengguna Sebagai pusat R&D teras, Institut Penyelidikan Pengimejan Meitu (MT Lab). akan terus meningkatkan keupayaan AI secara Berulang untuk menyediakan pencipta video kaedah penciptaan video baharu dan membuka dunia yang lebih luas.

以上是ECCV 2024｜盲视频去闪烁通用方法BlazeBVD来了，美图&国科大联合提出的详细内容。更多信息请关注PHP中文网其他相关文章！