この論文は、追加のガイダンスやフリッカーの理解を必要とせず、さまざまなフリッカーアーティファクトを除去できる、初の汎用的なフリッカー除去方法を提案することに成功しました。
#高品質のビデオは通常、時間的には一貫していますが、多くのビデオではさまざまな理由によりちらつきが発生します。たとえば、一部の古いカメラ ハードウェアの品質が低く、各フレームの露光時間を同じに設定できないため、古い映画の明るさは非常に不安定になることがあります。さらに、露出時間が非常に短い高速カメラは、室内照明の高周波数 (60 Hz など) の変化を捉えることができます。
#画像強調、画像の色付け、スタイル転送などの効率的な処理アルゴリズムの中でも、時間的に一貫したビデオに画像アルゴリズムを適用すると、ちらつきが発生することがあります。
ビデオ生成方法によって生成されたビデオには、ちらつきアーティファクトが含まれる場合もあります。
ビデオからフリッカーを除去することは、一般的に時間的に一貫したビデオの方が視覚的に魅力的であるため、ビデオ処理やコンピュテーショナル フォトグラフィーの分野で非常に一般的です。
この CVPR 2023 論文は、次のような普遍的なフリッカー除去方法の研究に特化しています: (1) さまざまなフリッカー パターンまたはレベル (古い映画、高速カメラで撮影されたスローモーション画像など) アクションに対して高度に一般化されています。ビデオ)、(2)フリッカービデオのみが必要であり、他の補助情報(フリッカータイプ、追加の時間一貫性のあるビデオなど)は必要ありません。この方法はあまり多くの仮定を置かないため、幅広い適用シナリオがあります。
コード リンク: https://github.com/ChenyangLEI/All-in-one-Deflicker
プロジェクト リンク: https://chenyanglei. github.io/deflicker
ペーパーリンク: https://arxiv.org/pdf/2303.08120.pdf
方法
一般的なフリッカー除去方法は困難であるため、追加のガイダンスなしでビデオ全体で時間的一貫性を強制します。
既存の技術は通常、ちらつきの種類ごとに特定の戦略を設計し、特定の知識を使用します。たとえば、高速カメラで撮影されたスローモーション ビデオの場合、以前の研究では照明周波数を分析できました。画像処理アルゴリズムによって処理されたビデオの場合、ブラインド ビデオ時間的一貫性アルゴリズムは、時間的に一貫した未処理のビデオを参照として使用して、長期的な一貫性を取得できます。ただし、フリッカー タイプや未処理のビデオが常に利用できるとは限らないため、既存のフリッカー固有のアルゴリズムをこのケースに適用することはできません。
直観的な解決策は、オプティカル フローを使用して通信を追跡することです。ただし、フリッカービデオから取得されるオプティカル フローは十分な精度ではなく、オプティカル フローの累積誤差もフレーム数とともに増加します。
著者は、2 つの重要な観察と設計を通じて、追加のガイダンスなしでさまざまなちらつきアーティファクトを除去できる一般的なちらつき除去方法を提案することに成功しました。
優れたブラインドフリッカー除去モデルには、すべてのビデオ フレーム間の対応する点を追跡する機能が必要です。ビデオ処理におけるほとんどのネットワーク構造は、少数のフレームしか入力として受け取ることができないため、受容野が小さくなり、長期的な一貫性を保証できません。研究者らは、ニューラル アトラスがフリッカー除去タスクに適していることを観察したため、このタスクにニューラル アトラスを導入する予定です。ニューラル アトラスは、ビデオ内のすべてのピクセルを統一的かつ簡潔に表現したものです。図 (a) に示すように、p をピクセルとします。各ピクセル p は、アトラス内のピクセルの対応する位置を示す 2D 座標 (up、vp) を予測するマッピング ネットワーク M に入力されます。理想的には、入力ピクセルが異なる色であっても、異なるフレーム間の対応する点はアトラス内のピクセルを共有する必要があります。つまり、これにより時間的な一貫性が確保されます。
第二に、共有レイヤーから取得されたフレームは一貫していますが、画像の構造には欠陥があります: ニューラル レイヤーは、動きの大きな動的オブジェクトを簡単にモデル化できません。オプティカル フローも完璧ではありません。そこで、著者らは、欠陥のある層から正常な部分を選択するためのニューラル フィルタリング戦略を提案しています。研究者らは、レイヤー内のアーティファクトとビデオ内のちらつきをシミュレートする 2 種類の歪みの下で不変性を学習するようにニューラル ネットワークをトレーニングしました。テストしたところ、ネットワークは一貫性プロパティを保持し、欠陥のある層のアーティファクトをブロックするフィルターとしてうまく機能しました。
実験
研究者らは、さまざまな実際のフリッカービデオを含むデータセットを構築しました。広範な実験により、私たちの方法が複数のタイプのフリッカービデオに対して満足のいくフリッカー除去効果を達成できることが示されています。研究者のアルゴリズムは、公開ベンチマークに関する追加のガイダンスを使用したベースライン手法をも上回りました。
研究者は、(a) 処理されたフリッカー ビデオと合成されたフリッカー ビデオの定量的な比較を提供します。研究者の方法の変形誤差は、ベースラインよりもはるかに小さいです。 PSNR によると、研究者の結果は合成データの実際の値にも近いとのことです。他の現実世界のビデオについては、この研究では (b) 比較のための二重盲検実験が提供されており、ほとんどのユーザーは研究者の結果を好みました。
上の図に示すように、研究者のアルゴリズムは入力ビデオからちらつきを非常にうまく除去できます。写真の 3 列目はニューラル層の結果を示していることに注意してください。明らかな欠陥が観察されますが、研究者のアルゴリズムはその一貫性をうまく利用して、これらの欠陥の導入を回避できます。
このフレームワークは、古い映画や AI で生成されたビデオに含まれるさまざまなカテゴリのちらつきを除去できます。
以上がワンクリックでビデオのちらつきを除去、この研究は一般的なフレームワークを提案しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ねえ、忍者をコーディング!その日はどのようなコーディング関連のタスクを計画していますか?このブログにさらに飛び込む前に、コーディング関連のすべての問題について考えてほしいです。 終わり? - &#8217を見てみましょう

食品の準備を強化するAI まだ初期の使用中ですが、AIシステムは食品の準備にますます使用されています。 AI駆動型のロボットは、ハンバーガーの製造、SAの組み立てなど、食品の準備タスクを自動化するためにキッチンで使用されています

導入 Python関数における変数の名前空間、スコープ、および動作を理解することは、効率的に記述し、ランタイムエラーや例外を回避するために重要です。この記事では、さまざまなASPを掘り下げます

導入 鮮やかな絵画や彫刻に囲まれたアートギャラリーを歩くことを想像してください。さて、各ピースに質問をして意味のある答えを得ることができたらどうでしょうか?あなたは尋ねるかもしれません、「あなたはどんな話を言っていますか?

製品のケイデンスを継続して、今月MediaTekは、新しいKompanio UltraやDimenity 9400を含む一連の発表を行いました。これらの製品は、スマートフォン用のチップを含むMediaTekのビジネスのより伝統的な部分を埋めます

#1 GoogleはAgent2Agentを起動しました 物語:月曜日の朝です。 AI駆動のリクルーターとして、あなたはより賢く、難しくありません。携帯電話の会社のダッシュボードにログインします。それはあなたに3つの重要な役割が調達され、吟味され、予定されていることを伝えます

私はあなたがそうであるに違いないと思います。 私たちは皆、精神障害がさまざまな心理学の用語を混ぜ合わせ、しばしば理解できないか完全に無意味であることが多い、さまざまなおしゃべりで構成されていることを知っているようです。 FOを吐き出すために必要なことはすべてです

今週公開された新しい研究によると、2022年に製造されたプラスチックの9.5%のみがリサイクル材料から作られていました。一方、プラスチックは埋め立て地や生態系に積み上げられ続けています。 しかし、助けが近づいています。エンジンのチーム


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

ゼンドスタジオ 13.0.1
強力な PHP 統合開発環境

Dreamweaver Mac版
ビジュアル Web 開発ツール

WebStorm Mac版
便利なJavaScript開発ツール

SublimeText3 Mac版
神レベルのコード編集ソフト(SublimeText3)

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。
