検索
ホームページテクノロジー周辺機器AIスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

この記事はAI New Media Qubit(公開アカウントID:QbitAI)の許可を得て転載していますので、転載については出典元にご連絡ください。

光学アルゴリズムの発展により、低次元のセンサーを使用して高次元の信号を「捕捉」できるようになりました。

たとえば、これは 2D センサーで撮影した「写真」ですが、ノイズの多いデータでいっぱいに見えます:

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

しかし、この「写真」に含まれるデータを通じて、ダイナミックなビデオを復元することができます。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

すごいことのように聞こえますが、Snapshot Compressive Imaging(Snapshot Compressive Imaging、SCI)## と呼ばれる方法を使用します。 # メソッドは実際に実現できます。

この手法は、高次元データを二次元計測値としてサンプリングすることができるため、高次元の視覚信号を効率的に取得することが可能です。

カメラを例に挙げると、2D センサーですが、

カメラ レンズの後ろにデジタル マイクロミラー デバイス測定デバイスを追加する方法が見つかったら、 (デジタル マイクロミラー デバイス) 、DMD、これは光源を正確に制御できるデバイスです). 通常のカメラで高次元データの次元削減測定を実行し、単純な 2D データを取得し、高次元を復元できるようにする方法があります。 3D 視覚信号。

たとえば、通常のカメラのフレーム レートは非常に低く、1 秒あたり数十枚の写真しか撮影できません (30 枚の写真を撮影できると仮定します)。

高速で移動する物体を撮影したい場合、このデジタルマイクロミラーデバイスを通常のカメラに追加するだけで、

映像信号を時間次元で圧縮することができます。写真を撮るたびに、1 枚の写真で数フレーム、場合によっては数十フレームの写真を復元できます

(つまり、ビデオを復元します)。 デジタル マイクロミラー デバイスのプリセット圧縮率が 10 であるとします。すると、今 1 枚の写真を撮影すると、10 枚の写真を復元できます (または 10 フレームの写真を含むビデオ) )、カメラのフレームレートも 10 倍に向上し、

1 秒あたり 300 枚の写真を撮影できます。

ここで、ノイズを含む圧縮された低次元測定データから元の高次元信号をできるだけ効率的に復元する方法が問題になります。 ディープラーニングの発展に伴い、さまざまな再構成アルゴリズムが提案されていますが、これらのアルゴリズムによる再構成信号の精度や安定性はまだ十分ではありません。

この目的を達成するために、

香港大学、中国科学院、西湖大学

の研究者は、ビデオ スナップショット圧縮イメージングのための深部平衡モデル

(DEQ)

手法を提案しました。 、AAAI 2023 に含まれています:

この方法は、再構成の精度と安定性を向上させるだけでなく、メモリ フットプリントをさらに最適化します。

##アルゴリズムは、トレーニングとテスト中に スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています一定レベルのメモリ

のみを必要とします。つまり、深層学習を使用する場合、消費されるメモリ空間は ネットワークの深さによって変化しません

(従来の最適化方法を使用する場合、消費されるメモリ空間は反復回数によって変化しません)

見に行きましょう。 スナップショット圧縮イメージングの難しさは何ですか? 新しい光学ハードウェアとイメージング アルゴリズムの設計の恩恵を受けて、スナップショット圧縮イメージング

(スナップショット圧縮イメージング、SCI)

システムは、1 つのスナップショットで高次元データを 2 次元測定として実行できます。測定サンプリングにより高次元の視覚信号を効率的に取得します。

図 1 に示すように、SCI システムはハードウェア エンコードとソフトウェア デコードの 2 つの部分に分けることができます。図 1. スナップショット圧縮イメージング システムは、低次元センサーを使用してスナップショット測定で高次元データをキャプチャします。

ビデオ撮影を例に挙げると、ハードウェア エンコードを通じて、SCI システムはビデオ データをサンプリングして圧縮します。時間次元で、その後、アルゴリズムを使用して元の高次元ビデオ データが再構築されます。 ここでは、ビデオ 1 に示すビデオ SCI システムについて考えてみましょう。ビデオの上部は、SCI システムのハードウェア部分によって取得された圧縮測定値を示し、ビデオの下部はビデオの結果を示しています。論文で提案されたアルゴリズムを使用して復元されました。

明らかに、イメージング プロセス全体で、

ノイズの多い圧縮測定からビデオを復元する方法
という逆問題を解決する必要があります。

SCI イメージングの逆問題を解決できる再構成方法は数多くありますが、図 2 に示すように、これらの方法にはそれぞれ独自の欠点があります。

##△図 2. SCI 再構成の既存の手法と主な問題点

その中で、従来の最適化アルゴリズムスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています(a)

パフォーマンスが制限されています。

ディープラーニング、エンドツーエンドディープネットワーク

(b)

および展開メソッド(c)の開発により、パフォーマンスは向上しますが、必然的にパフォーマンスは向上します。ネットワークの層の深さは増加し続けるメモリ要件に悩まされており、慎重なモデル設計が必要です。

プラグ アンド プレイ(PnP)フレームワーク(d)データ駆動型の正則化と柔軟な反復最適化の利点を享受しながら、このアルゴリズムは適切なパラメーターを通過する必要があります。正確な結果を保証するには設定が必要であり、満足のいくパフォーマンスを得るにはいくつかの複雑な戦略を採用する必要があります。

他の方法と比較して、この論文では、再構成結果の精度と安定性を保証するための新しいアルゴリズム DE-RNN および DE-GAP を提案します。図 3 に示すように、より高いレベル:

△図 3. DE-GAP と他の手法の再構成結果の比較

一般的に、過去 RNN や PnP などの手法の再構築結果は不安定であり、長期の反復ではパフォーマンスが低下することさえあります。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案していますただし、DE-GAP 再構成の結果は、反復回数が増加してもパフォーマンスの向上を維持でき、最終的には安定した結果に収束します。 ######どうやったの?

パフォーマンスを向上させるための高度なモデルの紹介

従来の方法の問題を解決し、より高度な SCI 再構成を実現するために、この論文では新しいアイデアを初めて提案します---

DEQ モデル

を使用して、ビデオ SCI 再構成の逆問題を解決します。

DEQ モデルは 2019 年に初めて提案され、主に自然言語処理における大規模な長系列言語処理タスクで使用されます。

図 4 に示すように、DEQ モデルは、ニュートンの反復法などの根探索法を通じて順伝播および逆伝播のプロセスで固定点を直接解くことができるため、定数レベルのメモリのみを使用します。

△図 4. DEQ モデルを解くための固定小数点法 (左) と定数レベルのメモリ使用量 (右) ) ) ) )

(図 4 は論文からのものです: S. Bai et al、「Deep equilibrium models」、NeurIPS 2019。)

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

具体的には、この論文はDEQ モデルは、RNN と PnP という 2 つの既存のビデオ SCI 再構築フレームワークに適用されます。

効果も非常に優れています。RNN は、

定レベル メモリ

のみを使用して無限に深いネットワークを実現するのと同等です。PnP は、無限に多くの反復最適化ステップを実現するのと同等であり、反復最適化プロセス固定小数点を解決します。 図 5 に示すように、この論文では、RNN と PnP それぞれの DEQ モデルと組み合わせた反復関数を設計しています。ここで、x は再構成結果、y は圧縮測定値、Φ は測定行列です。

△図 5. DEQ モデルとそれぞれ組み合わせた RNN と PnP の反復関数

(詳細については、具体的な導出プロセスと順方向伝播と逆方向伝播については、論文を参照してください)

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

実験結果は何ですか?

この論文では、6 つの古典的な SCI データセットと実際のデータを対象に実験を実施しましたが、以前の方法と比較して、全体的な再構成結果はより優れています。

表 1 に示すように、この方法では、平均して PSNR で約 0.1 dB、SSIM で約 0.04 の改善が達成されています。 SSIM の改良により、この方法が比較的微細な構造を持つ画像を再構成できることがわかります。

△表 1. ビデオ SCI 再構成用の 6 つの古典的なデータセットにおけるさまざまなアルゴリズムの PSNR (dB) とSSIM

図 6 は、従来のデータ セットに対するさまざまなアルゴリズムの再構成結果の比較であり、一部の詳細がよりスムーズかつ明確に表示されています。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

#△図 6

図 7 は、実際のデータに対するさまざまなアルゴリズムの再構成結果の比較であり、比較すると効果がより優れています。

スナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案しています

△図 7

その他の実験結果は論文に記載されています。

現在、論文のコードはオープンソース化されており、興味のある友人は利用することができます~

(著者による説明ビデオも記事の最後に添付して説明しています)簡単な用語)

##紙のアドレス:
https://www. php.cn/link/b8002139cdde66b87638f7f91d169d96

コードアドレス:
https: //www.php.cn/link/fa95123aa5f89781ed4e89a55eb2edcc 著者による論文説明ビデオ:
英語: https://www.bilibili.com/video/BV1X54y1g7D9/
中国語: https://www.bilibili.com/video/BV1V54y137QK/
## プラスチック広東語: https://www.bilibili.com/video/BV1224y1G7ee/

以上がスナップショットでビデオを復元できる! AAAI 2023 論文では、スナップショット圧縮イメージングの新しいアルゴリズムを提案していますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
iOS 17:如何在iPhone上的相机应用程序中锁定白平衡iOS 17:如何在iPhone上的相机应用程序中锁定白平衡Sep 20, 2023 am 08:41 AM

白平衡是一项相机功能,可根据照明条件调整演色性。此iPhone设置可确保白色物体在照片或视频中显示为白色,从而补偿由于典型照明而导致的任何颜色变化。如果您想在整个视频拍摄过程中保持白平衡一致,可以将其锁定。在这里,我们将指导您如何为iPhone视频保持固定的白平衡。如何在iPhone上锁定白平衡必需:iOS17更新。(检查“常规>软件更新”下的“设置”>)。在iPhone上打开“设置”应用。在“设置”中,向下滚动并选择“相机”。在“相机”屏幕上,点击“录制视频”。在这

使用Python访问各种音频和视频文件的元数据使用Python访问各种音频和视频文件的元数据Sep 05, 2023 am 11:41 AM

我们可以使用Mutagen和Python中的eyeD3模块访问音频文件的元数据。对于视频元数据,我们可以使用电影和Python中的OpenCV库。元数据是提供有关其他数据(例如音频和视频数据)的信息的数据。音频和视频文件的元数据包括文件格式、文件分辨率、文件大小、持续时间、比特率等。通过访问这些元数据,我们可以更有效地管理媒体并分析元数据以获得一些有用的信息。在本文中,我们将了解Python提供的一些用于访问音频和视频文件元数据的库或模块。访问音频元数据一些用于访问音频文件元数据的库是-使用诱变

ppt视频换个电脑就无法播放怎么办ppt视频换个电脑就无法播放怎么办Feb 23, 2023 am 11:29 AM

ppt视频换个电脑就无法播放是因为路径不对,其解决办法:1、将PPT和视频放入U盘的同一个文件夹内;2、双击打开该PPT,找到想要插入视频的页数,点击“插入”按钮;3、在弹出的对话框内选择想要插入的视频即可。

视频切片授权什么意思视频切片授权什么意思Sep 27, 2023 pm 02:55 PM

视频切片授权是指在视频服务中,将视频文件分割成多个小片段并进行授权的过程。这种授权方式能提供更好的视频流畅性、适应不同网络条件和设备,并保护视频内容的安全性。通过视频切片授权,用户可以更快地开始播放视频,减少等待和缓冲时间,视频切片授权可以根据网络条件和设备类型动态调整视频参数,提供最佳的播放效果,视频切片授权还有助于保护视频内容的安全性,防止未经授权的用户进行盗播和侵权行为。

如何使用Golang将多个图片转换为视频如何使用Golang将多个图片转换为视频Aug 22, 2023 am 11:29 AM

如何使用Golang将多个图片转换为视频随着互联网的发展和智能设备的普及,视频成为了一种重要的媒体形式。有时候我们可能需要将多个图片转换为视频,以便展示图片的连续变化或者制作幻灯片。本文将介绍如何使用Golang编程语言将多个图片转换为视频。在开始之前,请确保你已经安装了Golang以及相关的开发环境。步骤1:导入相关的包首先,我们需要导入一些相关的Gola

iOS 17:如何录制FaceTime视频或音频消息iOS 17:如何录制FaceTime视频或音频消息Sep 21, 2023 am 10:13 AM

在iOS17中,当您FaceTime通话某人无法接听时,您可以留下视频或音频信息,具体取决于您使用的通话方式。如果您使用的是FaceTime视频,则可以留下视频信息,如果您使用的是FaceTime音频,则可以留下音频信息。您所要做的就是以通常的方式与某人进行FaceTime。未接来电后,您将看到“录制视频”选项,该选项可让您创建消息。录制完视频后,您会看到视频的预览,如果效果不佳,还可以选择重新录制。以下是在运行iOS17的设备上留下FaceTime消息的工作原理,以未接视频通话为例,在Face

Vue 中如何实现视频播放器?Vue 中如何实现视频播放器?Jun 25, 2023 am 09:46 AM

随着互联网的不断发展,视频已经成为了人们日常生活中必不可少的娱乐方式之一。为了给用户提供更好的视频观看体验,许多网站和应用程序都开始使用视频播放器,使得用户可以在网页中直接观看视频。而Vue作为目前非常流行的前端框架之一,也提供了很多简便且实用的方法来实现视频播放器。下面,我们将简要介绍一下在Vue中实现视频播放器的方法。一、使用HTML5的video标签H

电脑打不开视频是什么原因电脑打不开视频是什么原因Jun 27, 2023 pm 01:42 PM

电脑打不开视频原因有:1、视频文件不完整;2、没有支持此视频的播放器;3、视频文件的后缀被修改过;4、视频文件关联不正确;5、没有使用插件。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

SublimeText3 英語版

SublimeText3 英語版

推奨: Win バージョン、コードプロンプトをサポート!

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SublimeText3 Linux 新バージョン

SublimeText3 Linux 新バージョン

SublimeText3 Linux 最新バージョン