検索
ホームページテクノロジー周辺機器AIスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

この記事はAI New Media Qubit(公開アカウントID:QbitAI)の許可を得て転載していますので、転載については出典元にご連絡ください。

光学アルゴリズムの発展により、低次元のセンサーを使用して高次元の信号を「捕捉」できるようになりました。

たとえば、これは 2D センサーで撮影した「写真」ですが、ノイズの多いデータでいっぱいに見えます:

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

しかし、この「写真」に含まれるデータを通じて、ダイナミックなビデオを復元することができます。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

すごいことのように聞こえますが、Snapshot Compressive Imaging(Snapshot Compressive Imaging、SCI)## と呼ばれる方法を使用します。 # メソッドは実際に実現できます。

この手法は、高次元データを二次元計測値としてサンプリングすることができるため、高次元の視覚信号を効率的に取得することが可能です。

カメラを例に挙げると、2D センサーですが、

カメラ レンズの後ろにデジタル マイクロミラー デバイス測定デバイスを追加する方法が見つかったら、 (デジタル マイクロミラー デバイス) 、DMD、これは光源を正確に制御できるデバイスです). 通常のカメラで高次元データの次元削減測定を実行し、単純な 2D データを取得し、高次元を復元できるようにする方法があります。 3D 視覚信号。

たとえば、通常のカメラのフレーム レートは非常に低く、1 秒あたり数十枚の写真しか撮影できません (30 枚の写真を撮影できると仮定します)。

高速で移動する物体を撮影したい場合、このデジタルマイクロミラーデバイスを通常のカメラに追加するだけで、

映像信号を時間次元で圧縮することができます。写真を撮るたびに、1 枚の写真で数フレーム、場合によっては数十フレームの写真を復元できます

(つまり、ビデオを復元します)。 デジタル マイクロミラー デバイスのプリセット圧縮率が 10 であるとします。すると、今 1 枚の写真を撮影すると、10 枚の写真を復元できます (または 10 フレームの写真を含むビデオ) )、カメラのフレームレートも 10 倍に向上し、

1 秒あたり 300 枚の写真を撮影できます。

ここで、ノイズを含む圧縮された低次元測定データから元の高次元信号をできるだけ効率的に復元する方法が問題になります。 ディープラーニングの発展に伴い、さまざまな再構成アルゴリズムが提案されていますが、これらのアルゴリズムによる再構成信号の精度や安定性はまだ十分ではありません。

この目的を達成するために、

香港大学、中国科学院、西湖大学

の研究者は、ビデオ スナップショット圧縮イメージングのための深部平衡モデル

(DEQ)

手法を提案しました。 、AAAI 2023 に含まれています:

この方法は、再構成の精度と安定性を向上させるだけでなく、メモリ フットプリントをさらに最適化します。

##アルゴリズムは、トレーニングとテスト中に スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています一定レベルのメモリ

のみを必要とします。つまり、深層学習を使用する場合、消費されるメモリ空間は ネットワークの深さによって変化しません

(従来の最適化方法を使用する場合、消費されるメモリ空間は反復回数によって変化しません)

見に行きましょう。 スナップショット圧縮イメージングの難しさは何ですか? 新しい光学ハードウェアとイメージング アルゴリズムの設計の恩恵を受けて、スナップショット圧縮イメージング

(スナップショット圧縮イメージング、SCI)

システムは、1 つのスナップショットで高次元データを 2 次元測定として実行できます。測定サンプリングにより高次元の視覚信号を効率的に取得します。

図 1 に示すように、SCI システムはハードウェア エンコードとソフトウェア デコードの 2 つの部分に分けることができます。図 1. スナップショット圧縮イメージング システムは、低次元センサーを使用してスナップショット測定で高次元データをキャプチャします。

ビデオ撮影を例に挙げると、ハードウェア エンコードを通じて、SCI システムはビデオ データをサンプリングして圧縮します。時間次元で、その後、アルゴリズムを使用して元の高次元ビデオ データが再構築されます。 ここでは、ビデオ 1 に示すビデオ SCI システムについて考えてみましょう。ビデオの上部は、SCI システムのハードウェア部分によって取得された圧縮測定値を示し、ビデオの下部はビデオの結果を示しています。論文で提案されたアルゴリズムを使用して復元されました。

明らかに、イメージング プロセス全体で、

ノイズの多い圧縮測定からビデオを復元する方法
という逆問題を解決する必要があります。

SCI イメージングの逆問題を解決できる再構成方法は数多くありますが、図 2 に示すように、これらの方法にはそれぞれ独自の欠点があります。

##△図 2. SCI 再構成の既存の手法と主な問題点

その中で、従来の最適化アルゴリズムスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています(a)

パフォーマンスが制限されています。

ディープラーニング、エンドツーエンドディープネットワーク

(b)

および展開メソッド(c)の開発により、パフォーマンスは向上しますが、必然的にパフォーマンスは向上します。ネットワークの層の深さは増加し続けるメモリ要件に悩まされており、慎重なモデル設計が必要です。

プラグ アンド プレイ(PnP)フレームワーク(d)データ駆動型の正則化と柔軟な反復最適化の利点を享受しながら、このアルゴリズムは適切なパラメーターを通過する必要があります。正確な結果を保証するには設定が必要であり、満足のいくパフォーマンスを得るにはいくつかの複雑な戦略を採用する必要があります。

他の方法と比較して、この論文では、再構成結果の精度と安定性を保証するための新しいアルゴリズム DE-RNN および DE-GAP を提案します。図 3 に示すように、より高いレベル:

△図 3. DE-GAP と他の手法の再構成結果の比較

一般的に、過去 RNN や PnP などの手法の再構築結果は不安定であり、長期の反復ではパフォーマンスが低下することさえあります。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案していますただし、DE-GAP 再構成の結果は、反復回数が増加してもパフォーマンスの向上を維持でき、最終的には安定した結果に収束します。 ######どうやったの?

パフォーマンスを向上させるための高度なモデルの紹介

従来の方法の問題を解決し、より高度な SCI 再構成を実現するために、この論文では新しいアイデアを初めて提案します---

DEQ モデル

を使用して、ビデオ SCI 再構成の逆問題を解決します。

DEQ モデルは 2019 年に初めて提案され、主に自然言語処理における大規模な長系列言語処理タスクで使用されます。

図 4 に示すように、DEQ モデルは、ニュートンの反復法などの根探索法を通じて順伝播および逆伝播のプロセスで固定点を直接解くことができるため、定数レベルのメモリのみを使用します。

△図 4. DEQ モデルを解くための固定小数点法 (左) と定数レベルのメモリ使用量 (右) ) ) ) )

(図 4 は論文からのものです: S. Bai et al、「Deep equilibrium models」、NeurIPS 2019。)

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

具体的には、この論文はDEQ モデルは、RNN と PnP という 2 つの既存のビデオ SCI 再構築フレームワークに適用されます。

効果も非常に優れています。RNN は、

定レベル メモリ

のみを使用して無限に深いネットワークを実現するのと同等です。PnP は、無限に多くの反復最適化ステップを実現するのと同等であり、反復最適化プロセス固定小数点を解決します。 図 5 に示すように、この論文では、RNN と PnP それぞれの DEQ モデルと組み合わせた反復関数を設計しています。ここで、x は再構成結果、y は圧縮測定値、Φ は測定行列です。

△図 5. DEQ モデルとそれぞれ組み合わせた RNN と PnP の反復関数

(詳細については、具体的な導出プロセスと順方向伝播と逆方向伝播については、論文を参照してください)

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

実験結果は何ですか?

この論文では、6 つの古典的な SCI データセットと実際のデータを対象に実験を実施しましたが、以前の方法と比較して、全体的な再構成結果はより優れています。

表 1 に示すように、この方法では、平均して PSNR で約 0.1 dB、SSIM で約 0.04 の改善が達成されています。 SSIM の改良により、この方法が比較的微細な構造を持つ画像を再構成できることがわかります。

△表 1. ビデオ SCI 再構成用の 6 つの古典的なデータセットにおけるさまざまなアルゴリズムの PSNR (dB) とSSIM

図 6 は、従来のデータ セットに対するさまざまなアルゴリズムの再構成結果の比較であり、一部の詳細がよりスムーズかつ明確に表示されています。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

#△図 6

図 7 は、実際のデータに対するさまざまなアルゴリズムの再構成結果の比較であり、比較すると効果がより優れています。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

△図 7

その他の実験結果は論文に記載されています。

現在、論文のコードはオープンソース化されており、興味のある友人は利用することができます~

(著者による説明ビデオも記事の最後に添付して説明しています)簡単な用語)

##紙のアドレス:
https://www. php.cn/link/b8002139cdde66b87638f7f91d169d96

コードアドレス:
https: //www.php.cn/link/fa95123aa5f89781ed4e89a55eb2edcc 著者による論文説明ビデオ:
英語: https://www.bilibili.com/video/BV1X54y1g7D9/
中国語: https://www.bilibili.com/video/BV1V54y137QK/
## プラスチック広東語: https://www.bilibili.com/video/BV1224y1G7ee/

以上がスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案していますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
AIのスキルギャップは、サプライチェーンのダウンを遅くしていますAIのスキルギャップは、サプライチェーンのダウンを遅くしていますApr 26, 2025 am 11:13 AM

「AI-Ready労働力」という用語は頻繁に使用されますが、サプライチェーン業界ではどういう意味ですか? サプライチェーン管理協会(ASCM)のCEOであるAbe Eshkenaziによると、批評家ができる専門家を意味します

1つの会社がAIを永遠に変えるために静かに取り組んでいる方法1つの会社がAIを永遠に変えるために静かに取り組んでいる方法Apr 26, 2025 am 11:12 AM

分散型AI革命は静かに勢いを増しています。 今週の金曜日、テキサス州オースティンでは、ビテンサーのエンドゲームサミットは極めて重要な瞬間を示し、理論から実用的な応用に分散したAI(DEAI)を移行します。 派手なコマーシャルとは異なり

Nvidiaは、AIエージェント開発を合理化するためにNEMOマイクロサービスをリリースしますNvidiaは、AIエージェント開発を合理化するためにNEMOマイクロサービスをリリースしますApr 26, 2025 am 11:11 AM

エンタープライズAIはデータ統合の課題に直面しています エンタープライズAIの適用は、ビジネスデータを継続的に学習することで正確性と実用性を維持できるシステムを構築する大きな課題に直面しています。 NEMOマイクロサービスは、NVIDIAが「データフライホイール」と呼んでいるものを作成することにより、この問題を解決し、AIシステムがエンタープライズ情報とユーザーインタラクションへの継続的な露出を通じて関連性を維持できるようにします。 この新しく発売されたツールキットには、5つの重要なマイクロサービスが含まれています。 NEMOカスタマイザーは、より高いトレーニングスループットを備えた大規模な言語モデルの微調整を処理します。 NEMO評価者は、カスタムベンチマークのAIモデルの簡素化された評価を提供します。 Nemo Guardrailsは、コンプライアンスと適切性を維持するためにセキュリティ管理を実装しています

aiは芸術とデザインの未来のために新しい絵を描きますaiは芸術とデザインの未来のために新しい絵を描きますApr 26, 2025 am 11:10 AM

AI:芸術とデザインの未来 人工知能(AI)は、前例のない方法で芸術とデザインの分野を変えており、その影響はもはやアマチュアに限定されませんが、より深く影響を与えています。 AIによって生成されたアートワークとデザインスキームは、広告、ソーシャルメディアの画像生成、Webデザインなど、多くのトランザクションデザインアクティビティで従来の素材画像とデザイナーに迅速に置き換えられています。 ただし、プロのアーティストやデザイナーもAIの実用的な価値を見つけています。 AIを補助ツールとして使用して、新しい美的可能性を探求し、さまざまなスタイルをブレンドし、新しい視覚効果を作成します。 AIは、アーティストやデザイナーが繰り返しタスクを自動化し、さまざまなデザイン要素を提案し、創造的な入力を提供するのを支援します。 AIはスタイル転送をサポートします。これは、画像のスタイルを適用することです

エージェントAIとのズームがどのように革命を起こしているか:会議からマイルストーンまでエージェントAIとのズームがどのように革命を起こしているか:会議からマイルストーンまでApr 26, 2025 am 11:09 AM

最初はビデオ会議プラットフォームで知られていたZoomは、エージェントAIの革新的な使用で職場革命をリードしています。 ZoomのCTOであるXD Huangとの最近の会話は、同社の野心的なビジョンを明らかにしました。 エージェントAIの定義 huang d

大学に対する実存的な脅威大学に対する実存的な脅威Apr 26, 2025 am 11:08 AM

AIは教育に革命をもたらしますか? この質問は、教育者と利害関係者の間で深刻な反省を促しています。 AIの教育への統合は、機会と課題の両方をもたらします。 Tech Edvocate NotesのMatthew Lynch、Universitとして

プロトタイプ:アメリカの科学者は海外の仕事を探していますプロトタイプ:アメリカの科学者は海外の仕事を探していますApr 26, 2025 am 11:07 AM

米国における科学的研究と技術の開発は、おそらく予算削減のために課題に直面する可能性があります。 Natureによると、海外の雇用を申請するアメリカの科学者の数は、2024年の同じ期間と比較して、2025年1月から3月まで32%増加しました。以前の世論調査では、調査した研究者の75%がヨーロッパとカナダでの仕事の検索を検討していることが示されました。 NIHとNSFの助成金は過去数か月で終了し、NIHの新しい助成金は今年約23億ドル減少し、3分の1近く減少しました。リークされた予算の提案は、トランプ政権が科学機関の予算を急激に削減していることを検討しており、最大50%の削減の可能性があることを示しています。 基礎研究の分野での混乱は、米国の主要な利点の1つである海外の才能を引き付けることにも影響を与えています。 35

オープンAIの最新のGPT 4.1ファミリ - 分析VidhyaオープンAIの最新のGPT 4.1ファミリ - 分析VidhyaApr 26, 2025 am 10:19 AM

Openaiは、強力なGPT-4.1シリーズを発表しました。実際のアプリケーション向けに設計された3つの高度な言語モデルのファミリー。 この大幅な飛躍は、より速い応答時間、理解の強化、およびTと比較した大幅に削減されたコストを提供します

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

Eclipse を SAP NetWeaver アプリケーション サーバーと統合します。

SublimeText3 中国語版

SublimeText3 中国語版

中国語版、とても使いやすい

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません