検索
ホームページテクノロジー周辺機器AIスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

この記事はAI New Media Qubit(公開アカウントID:QbitAI)の許可を得て転載していますので、転載については出典元にご連絡ください。

光学アルゴリズムの発展により、低次元のセンサーを使用して高次元の信号を「捕捉」できるようになりました。

たとえば、これは 2D センサーで撮影した「写真」ですが、ノイズの多いデータでいっぱいに見えます:

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

しかし、この「写真」に含まれるデータを通じて、ダイナミックなビデオを復元することができます。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

すごいことのように聞こえますが、Snapshot Compressive Imaging(Snapshot Compressive Imaging、SCI)## と呼ばれる方法を使用します。 # メソッドは実際に実現できます。

この手法は、高次元データを二次元計測値としてサンプリングすることができるため、高次元の視覚信号を効率的に取得することが可能です。

カメラを例に挙げると、2D センサーですが、

カメラ レンズの後ろにデジタル マイクロミラー デバイス測定デバイスを追加する方法が見つかったら、 (デジタル マイクロミラー デバイス) 、DMD、これは光源を正確に制御できるデバイスです). 通常のカメラで高次元データの次元削減測定を実行し、単純な 2D データを取得し、高次元を復元できるようにする方法があります。 3D 視覚信号。

たとえば、通常のカメラのフレーム レートは非常に低く、1 秒あたり数十枚の写真しか撮影できません (30 枚の写真を撮影できると仮定します)。

高速で移動する物体を撮影したい場合、このデジタルマイクロミラーデバイスを通常のカメラに追加するだけで、

映像信号を時間次元で圧縮することができます。写真を撮るたびに、1 枚の写真で数フレーム、場合によっては数十フレームの写真を復元できます

(つまり、ビデオを復元します)。 デジタル マイクロミラー デバイスのプリセット圧縮率が 10 であるとします。すると、今 1 枚の写真を撮影すると、10 枚の写真を復元できます (または 10 フレームの写真を含むビデオ) )、カメラのフレームレートも 10 倍に向上し、

1 秒あたり 300 枚の写真を撮影できます。

ここで、ノイズを含む圧縮された低次元測定データから元の高次元信号をできるだけ効率的に復元する方法が問題になります。 ディープラーニングの発展に伴い、さまざまな再構成アルゴリズムが提案されていますが、これらのアルゴリズムによる再構成信号の精度や安定性はまだ十分ではありません。

この目的を達成するために、

香港大学、中国科学院、西湖大学

の研究者は、ビデオ スナップショット圧縮イメージングのための深部平衡モデル

(DEQ)

手法を提案しました。 、AAAI 2023 に含まれています:

この方法は、再構成の精度と安定性を向上させるだけでなく、メモリ フットプリントをさらに最適化します。

##アルゴリズムは、トレーニングとテスト中に スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています一定レベルのメモリ

のみを必要とします。つまり、深層学習を使用する場合、消費されるメモリ空間は ネットワークの深さによって変化しません

(従来の最適化方法を使用する場合、消費されるメモリ空間は反復回数によって変化しません)

見に行きましょう。 スナップショット圧縮イメージングの難しさは何ですか? 新しい光学ハードウェアとイメージング アルゴリズムの設計の恩恵を受けて、スナップショット圧縮イメージング

(スナップショット圧縮イメージング、SCI)

システムは、1 つのスナップショットで高次元データを 2 次元測定として実行できます。測定サンプリングにより高次元の視覚信号を効率的に取得します。

図 1 に示すように、SCI システムはハードウェア エンコードとソフトウェア デコードの 2 つの部分に分けることができます。図 1. スナップショット圧縮イメージング システムは、低次元センサーを使用してスナップショット測定で高次元データをキャプチャします。

ビデオ撮影を例に挙げると、ハードウェア エンコードを通じて、SCI システムはビデオ データをサンプリングして圧縮します。時間次元で、その後、アルゴリズムを使用して元の高次元ビデオ データが再構築されます。 ここでは、ビデオ 1 に示すビデオ SCI システムについて考えてみましょう。ビデオの上部は、SCI システムのハードウェア部分によって取得された圧縮測定値を示し、ビデオの下部はビデオの結果を示しています。論文で提案されたアルゴリズムを使用して復元されました。

明らかに、イメージング プロセス全体で、

ノイズの多い圧縮測定からビデオを復元する方法
という逆問題を解決する必要があります。

SCI イメージングの逆問題を解決できる再構成方法は数多くありますが、図 2 に示すように、これらの方法にはそれぞれ独自の欠点があります。

##△図 2. SCI 再構成の既存の手法と主な問題点

その中で、従来の最適化アルゴリズムスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています(a)

パフォーマンスが制限されています。

ディープラーニング、エンドツーエンドディープネットワーク

(b)

および展開メソッド(c)の開発により、パフォーマンスは向上しますが、必然的にパフォーマンスは向上します。ネットワークの層の深さは増加し続けるメモリ要件に悩まされており、慎重なモデル設計が必要です。

プラグ アンド プレイ(PnP)フレームワーク(d)データ駆動型の正則化と柔軟な反復最適化の利点を享受しながら、このアルゴリズムは適切なパラメーターを通過する必要があります。正確な結果を保証するには設定が必要であり、満足のいくパフォーマンスを得るにはいくつかの複雑な戦略を採用する必要があります。

他の方法と比較して、この論文では、再構成結果の精度と安定性を保証するための新しいアルゴリズム DE-RNN および DE-GAP を提案します。図 3 に示すように、より高いレベル:

△図 3. DE-GAP と他の手法の再構成結果の比較

一般的に、過去 RNN や PnP などの手法の再構築結果は不安定であり、長期の反復ではパフォーマンスが低下することさえあります。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案していますただし、DE-GAP 再構成の結果は、反復回数が増加してもパフォーマンスの向上を維持でき、最終的には安定した結果に収束します。 ######どうやったの?

パフォーマンスを向上させるための高度なモデルの紹介

従来の方法の問題を解決し、より高度な SCI 再構成を実現するために、この論文では新しいアイデアを初めて提案します---

DEQ モデル

を使用して、ビデオ SCI 再構成の逆問題を解決します。

DEQ モデルは 2019 年に初めて提案され、主に自然言語処理における大規模な長系列言語処理タスクで使用されます。

図 4 に示すように、DEQ モデルは、ニュートンの反復法などの根探索法を通じて順伝播および逆伝播のプロセスで固定点を直接解くことができるため、定数レベルのメモリのみを使用します。

△図 4. DEQ モデルを解くための固定小数点法 (左) と定数レベルのメモリ使用量 (右) ) ) ) )

(図 4 は論文からのものです: S. Bai et al、「Deep equilibrium models」、NeurIPS 2019。)

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

具体的には、この論文はDEQ モデルは、RNN と PnP という 2 つの既存のビデオ SCI 再構築フレームワークに適用されます。

効果も非常に優れています。RNN は、

定レベル メモリ

のみを使用して無限に深いネットワークを実現するのと同等です。PnP は、無限に多くの反復最適化ステップを実現するのと同等であり、反復最適化プロセス固定小数点を解決します。 図 5 に示すように、この論文では、RNN と PnP それぞれの DEQ モデルと組み合わせた反復関数を設計しています。ここで、x は再構成結果、y は圧縮測定値、Φ は測定行列です。

△図 5. DEQ モデルとそれぞれ組み合わせた RNN と PnP の反復関数

(詳細については、具体的な導出プロセスと順方向伝播と逆方向伝播については、論文を参照してください)

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

実験結果は何ですか?

この論文では、6 つの古典的な SCI データセットと実際のデータを対象に実験を実施しましたが、以前の方法と比較して、全体的な再構成結果はより優れています。

表 1 に示すように、この方法では、平均して PSNR で約 0.1 dB、SSIM で約 0.04 の改善が達成されています。 SSIM の改良により、この方法が比較的微細な構造を持つ画像を再構成できることがわかります。

△表 1. ビデオ SCI 再構成用の 6 つの古典的なデータセットにおけるさまざまなアルゴリズムの PSNR (dB) とSSIM

図 6 は、従来のデータ セットに対するさまざまなアルゴリズムの再構成結果の比較であり、一部の詳細がよりスムーズかつ明確に表示されています。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

#△図 6

図 7 は、実際のデータに対するさまざまなアルゴリズムの再構成結果の比較であり、比較すると効果がより優れています。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

△図 7

その他の実験結果は論文に記載されています。

現在、論文のコードはオープンソース化されており、興味のある友人は利用することができます~

(著者による説明ビデオも記事の最後に添付して説明しています)簡単な用語)

##紙のアドレス:
https://www. php.cn/link/b8002139cdde66b87638f7f91d169d96

コードアドレス:
https: //www.php.cn/link/fa95123aa5f89781ed4e89a55eb2edcc 著者による論文説明ビデオ:
英語: https://www.bilibili.com/video/BV1X54y1g7D9/
中国語: https://www.bilibili.com/video/BV1V54y137QK/
## プラスチック広東語: https://www.bilibili.com/video/BV1224y1G7ee/

以上がスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案していますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
PIXTRAL 12B対QWEN2-VL-72BPIXTRAL 12B対QWEN2-VL-72BApr 12, 2025 am 09:52 AM

導入 AI革命は、テキストからイメージのモデルが芸術、デザイン、テクノロジーの交差点を再定義している創造性の新しい時代を生み出しました。 Pixtral 12bおよびqwen2-vl-72bは、2つの先駆的な力のドリビンです

Paperqaとは何ですか、そしてそれは科学研究をどのように支援しますか?Paperqaとは何ですか、そしてそれは科学研究をどのように支援しますか?Apr 12, 2025 am 09:51 AM

導入 AIの進歩により、科学的研究では大きな変革が見られました。さまざまなテクノロジーやセクターで毎年何百万もの論文が掲載されています。しかし、この情報の海をretrに移動します

Datagemma:幻覚に対するLLMの接地 - 分析VidhyaDatagemma:幻覚に対するLLMの接地 - 分析VidhyaApr 12, 2025 am 09:46 AM

導入 大規模な言語モデルは、産業を急速に変革しています。Todayは、銀行業務におけるパーソナライズされたカスタマーサービスからグローバルコミュニケーションのリアルタイム言語翻訳まで、あらゆるものを動かしています。彼らはクエストに答えることができます

CrewaiとOllamaでマルチエージェントシステムを構築する方法は?CrewaiとOllamaでマルチエージェントシステムを構築する方法は?Apr 12, 2025 am 09:44 AM

導入 APIにお金を費やしたくないのですか、それともプライバシーを心配していますか?それとも、LLMSをローカルに実行したいだけですか?心配しないで;このガイドは、ローカルLLMSを使用してエージェントとマルチエージェントフレームワークを構築するのに役立ちます

AVバイト:Openai' S O1モデル、Apple'の視覚的なAIなど - 分析VidhyaAVバイト:Openai' S O1モデル、Apple'の視覚的なAIなど - 分析VidhyaApr 12, 2025 am 09:38 AM

導入 今週は、人工知能の世界(AI)の主要な更新が詰め込まれています。 OpenaiのO1モデルから、高度な推論の紹介からAppleの画期的な視覚知能技術、Techまで

生産グレードのエージェントRAGパイプラインを監視する方法は?生産グレードのエージェントRAGパイプラインを監視する方法は?Apr 12, 2025 am 09:34 AM

導入 2022年、CHATGPTの立ち上げにより、ハイテク産業と非テクノロジーの両方の業界の両方に革命をもたらし、個人や組織にAIを生成しました。 2023年を通じて、大規模な言語モードの活用に集中しました

Star Schemaを使用してデータウェアハウスを最適化する方法は?Star Schemaを使用してデータウェアハウスを最適化する方法は?Apr 12, 2025 am 09:33 AM

Star Schemaは、データウェアハウジングとビジネスインテリジェンスで使用される効率的なデータベース設計です。データを整理し、周囲の寸法テーブルにリンクされた中央のファクトテーブルになります。この星のような構造は、複雑なqを簡素化します

マルチモーダルRAGシステムの構築に関する包括的なガイドマルチモーダルRAGシステムの構築に関する包括的なガイドApr 12, 2025 am 09:29 AM

RAGシステムとしてよく知られている検索拡張生成システムは、高価な微調整の手間なしでカスタムエンタープライズデータに関する質問に答えるインテリジェントAIアシスタントを構築するための事実上の標準となっています

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

MantisBT

MantisBT

Mantis は、製品の欠陥追跡を支援するために設計された、導入が簡単な Web ベースの欠陥追跡ツールです。 PHP、MySQL、Web サーバーが必要です。デモおよびホスティング サービスをチェックしてください。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。