스냅샷으로 비디오를 복원할 수 있습니다! AAAI 2023 논문은 스냅샷 압축 이미징을 위한 새로운 알고리즘을 제안합니다.

본 글은 AI 뉴미디어 큐빗(공개 계정 ID: QbitAI)의 승인을 받아 재인쇄되었습니다.

광학 알고리즘의 개발로 이제 저차원 센서로 고차원 신호를 "포착"할 수 있습니다.

예를 들어, 이것은 우리가 2D 센서로 찍은 "사진"인데, 노이즈가 많은 데이터로 가득 차 보입니다.

그러나 이 "사진"에 ​​포함된 데이터를 통해 우리는 역동적인 영상!

마법처럼 들리지만 Snapshot Compressive Imaging(Snapshot Compressive Imaging, SCI)이라는 방법을 통해 실제로 달성할 수 있습니다.

이 방법은 고차원 데이터를 2차원 측정으로 샘플링하여 고차원 시각 신호를 효율적으로 수집할 수 있습니다.

카메라를 예로 들어보겠습니다. 2D 센서이지만, 카메라 렌즈 뒤에 디지털 마이크로미러 소자 측정 장치를 추가하는 방법을 찾으면(Digital Micromirror Devices, DMD, 이것은 정확하게 측정할 수 있는 장치입니다. 광원 제어 ) 일반 카메라를 사용하여 고차원 데이터에 대한 차원 축소 측정을 수행하고 간단한 2D 데이터를 얻은 다음 고차원 3D 시각 신호를 복원하는 방법이 있습니다.

예를 들어 일반 카메라의 프레임 속도는 매우 낮고 초당 수십 장의 사진만 찍을 수 있습니다(30장의 사진을 찍을 수 있다고 가정).

고속으로 움직이는 물체를 촬영하고 싶을 때 이 디지털 마이크로미러 장치를 일반 카메라에 추가하기만 하면 시간 차원에 따라 비디오 신호를 압축하고 사진을 찍을 때마다 여러 개의 프레임 또는 심지어 수십 프레임의 사진 (즉, 비디오가 복원됨) .

디지털 마이크로미러 장치의 사전 설정된 압축률이 10이라고 가정합니다. 그러면 지금 사진 한 장을 찍으면 10장의 사진(또는 10프레임의 사진이 포함된 동영상)을 복원할 수 있으며, 카메라의 프레임 속도도 직접적으로 높아졌습니다. 10배로 늘리면 1초에 300장의 사진을 찍을 수 있습니다. 이제 질문이 생깁니다. 이렇게 시끄러운 압축 저차원 측정 데이터에서 원래의 고차원 신호를 최대한 효율적으로 복구하는 방법은 무엇일까요?

딥러닝의 발전과 함께 다양한 재구성 알고리즘이 제안되었지만, 이러한 알고리즘에 의해 재구성된 신호의 정확성과 안정성은 여전히 ​​충분하지 않습니다.

이를 위해

홍콩 대학교, 중국 과학 아카데미 및 웨스트레이크 대학교

의 연구원들은 AAAI 2023에 포함된 비디오 스냅샷 압축 이미징을 위한 심층 평형 모델(DEQ) 방법을 제안했습니다.

이 방법은 재구성 정확도와 안정성을 향상시킬 뿐만 아니라 메모리 사용 공간도 더욱 최적화합니다. -

알고리즘은 훈련 및 테스트 중에

일정 수준 메모리

만 필요합니다. 즉, 딥 러닝을 사용할 때 소비된 메모리 공간 은 네트워크 깊이에 따라 변하지 않습니다 (기존 최적화 방법을 사용할 때 소비하는 메모리 공간은 반복 횟수에 따라 변하지 않습니다) . 한번 살펴보겠습니다.

스냅샷 압축 이미징의 어려움은 무엇인가요?

새로운 광학 하드웨어 및 이미징 알고리즘 설계의 이점을 활용한 Snapshot Compressive Imaging

(Snapshot Compressive Imaging, SCI) 시스템은 한 번의 스냅샷 측정에서 고차원 데이터를 2차원 측정으로 샘플링할 수 있으므로 높은 데이터를 효율적으로 수집할 수 있습니다. -차원적인 데이터.차원적인 시각적 신호.

그림 1에서 볼 수 있듯이 SCI 시스템은 하드웨어 인코딩과 소프트웨어 디코딩의 두 부분으로 나눌 수 있습니다.

Δ 그림 1. 스냅샷 압축 이미징 시스템은 저차원 센서를 사용하여 고차원 데이터를 캡처합니다. 스냅샷 측정에서

촬영 비디오를 예로 들어보겠습니다. SCI 시스템은 하드웨어 인코딩을 통해 비디오 데이터를 샘플링하고 이를 시간 차원에서 압축한 후 원본 고차원 비디오 데이터를 재구성하는 데 사용됩니다.

여기에서 비디오 1과 같이 비디오 SCI 시스템을 고려하십시오. 비디오의 상단 부분은 SCI 시스템의 하드웨어 부분에서 얻은 압축 측정값을 보여주고, 비디오의 하단 부분은 알고리즘을 사용하여 복구된 비디오 결과를 보여줍니다. 논문에서 제안했습니다.

분명히 전체 이미징 프로세스는 역 문제를 해결해야 합니다.

노이즈가 있는 압축 측정에서 비디오를 복구하는 방법

.

SCI 영상의 역문제를 해결할 수 있는 재구성 방법은 많지만 그림 2와 같이 각 방법에는 고유한 단점이 있습니다. ​

Δ그림 2. 기존 방법 SCI 재구성 방법 및 주요 문제

그 중 전통적인 최적화 알고리즘(a)은 성능이 제한되어 있습니다.

딥러닝, 엔드투엔드 딥 네트워크(b) 및 전개 방법(c)의 발전으로 성능을 향상시킬 수는 있지만 필연적으로 레이어 네트워크의 깊이가 증가함에 따라 메모리 증가 문제가 발생합니다. 점유 요구 사항이 있으므로 모델을 신중하게 설계해야 합니다.

Plug and Play(PnP)Framework(d) 이 알고리즘은 데이터 기반 정규화와 유연한 반복 최적화의 장점을 즐기면서 적절한 매개변수 설정을 통해 정확한 결과를 보장해야 하며, 만족스러운 결과를 얻으려면 몇 가지 복잡한 전략도 필요합니다. 성능.

다른 방법과 비교하여 본 논문에서는 그림 3과 같이 재구성 결과의 정확성과 안정성을 보장하기 위해 새로운 알고리즘 DE-RNN 및 DE-GAP을 제안합니다. 표시:

Δ 그림 3. DE-GAP과 다른 방법의 재구성 결과 비교

일반적으로 RNN 및 PnP와 같은 이전 방법의 재구성 결과는 불안정하며 장기적으로 성능이 저하되기도 합니다. 반복.

그러나 DE-GAP 재구성 결과는 반복 횟수가 증가함에 따라 성능 향상을 유지할 수 있으며 결국 안정적인 결과로 수렴됩니다.

이 작업은 어떻게 이루어지나요?

성능 향상을 위한 고급 모델 도입

이전 방법의 문제를 해결하고 더욱 발전된 SCI 재구성을 달성하기 위해 본 논문에서는 처음으로 새로운 아이디어를 제안합니다. -

역 문제를 해결하기 위해 DEQ 모델을 사용함 비디오 SCI 재구성 질문입니다.

DEQ 모델은 2019년에 처음 제안되었으며 자연어 처리 분야의 대규모 긴 시퀀스 언어 처리 작업에 주로 사용됩니다.

그림 4에서 볼 수 있듯이 DEQ 모델은 뉴턴의 반복법과 같은 근 찾기 방법을 통해 순전파 및 역전파 과정에서 고정점을 직접 풀 수 있으므로 상수 수준 메모리만 사용하여 효과적으로 무한대를 달성할 수 있습니다. :

Δ 그림 4. DEQ 모델을 해결하기 위한 고정 소수점 방법(왼쪽) 및 상수 수준 메모리 사용량(오른쪽)

(그림 4는 논문에서 발췌: S. Bai et al, " 심층 평형 모델”, NeurIPS 2019.)

구체적으로 이 논문은 DEQ 모델을 두 개의 기존 비디오 SCI 재구성 프레임워크인 RNN과 PnP에 처음으로 적용합니다.

효과도 매우 좋습니다. RNN은 상수 수준 메모리만 사용하여 무한히 깊은 네트워크를 구현하는 것과 같습니다. PnP는 무한히 많은 반복 최적화 단계를 구현하고 반복 최적화 과정에서 고정점을 직접 해결하는 것과 같습니다.

그림 5에서 볼 수 있듯이 논문은 각각 RNN 및 PnP에 대한 DEQ 모델과 결합된 반복 함수를 설계합니다. 여기서 x는 재구성 결과, y는 압축 측정, Φ는 측정 행렬입니다.

Δ그림 5. DEQ 모델과 각각 결합된 RNN 및 PnP의 반복 함수

(구체적인 파생 프로세스 및 순방향 및 역방향 전파에 대한 자세한 내용은 논문을 참조하세요.)

실험 결과는 무엇입니까?

이 논문은 6개의 클래식 SCI 데이터 세트와 실제 데이터에 대한 실험을 수행했으며 이전 방법과 비교하여 전반적인 재구성 결과가 더 좋습니다.

표 1에서 볼 수 있듯이 이 방법은 평균적으로 PSNR이 약 0.1dB 향상되고 SSIM이 약 0.04 향상됩니다. SSIM의 개선은 이 방법이 상대적으로 미세한 구조로 이미지를 재구성할 수 있음을 보여줍니다.

Δ 표 1. 비디오 SCI 재구성의 6가지 클래식 데이터 세트에 대한 다양한 알고리즘의 PSNR(dB) 및 SSIM

그림 6 비교입니다. 클래식 데이터 세트에 대한 다양한 알고리즘의 재구성 결과 및 일부 세부 정보 표시가 더 부드럽고 명확해졌습니다.

Δ그림 6

그림 7은 실제 데이터에 대한 다양한 알고리즘의 재구성 결과를 비교한 것으로, 비교했을 때 효과가 더 좋습니다.

Δ그림 7

더 많은 실험 결과가 가능합니다. 본 종이.

현재 페이퍼 코드는 오픈소스로 공개되어 관심 있는 친구들이 사용 가능해요~

(글 끝에 저자의 설명 영상도 첨부되어 있어 깊고 간단하게 설명하고 있어요)

논문 주소:
​ ​https://www.php.cn/link/b8002139cdde66b87638f7f91d169d96​​

코드 주소:
​​https: //www.php.cn/link /fa95123aa5f89781ed4e89a55eb2edcc​ ​
저자의 논문 설명 영상:
English: https://www.bili bili.com/video/ BV1X54y1g7D9/
중국어: https://www.bilibili.com/video/BV1V54y137QK/
플라스틱 광둥어: https://www.bilibili.com/video/BV1224y1G 7ee/

위 내용은 스냅샷으로 비디오를 복원할 수 있습니다! AAAI 2023 논문은 스냅샷 압축 이미징을 위한 새로운 알고리즘을 제안합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!