구형 딥러닝을 고해상도 입력 데이터로 확장

번역가 | Zhu Xianzhong

Reviewer | Sun Shujuan

전통적인 구형 CNN은 고해상도 분류 작업으로 확장될 수 없습니다. 본 논문에서는 관련 정보를 유지하면서 입력 데이터의 차원을 줄일 수 있고 회전 등분산 특성을 가질 수 있는 새로운 유형의 구형 레이어인 구형 산란 레이어를 소개합니다.

산란 네트워크는 처음부터 컨볼루션 필터를 학습하는 대신 웨이블릿 분석에서 미리 정의된 컨볼루션 필터를 사용하여 작동합니다. 산란층의 가중치는 학습된 것이 아니라 특별히 설계되었기 때문에 산란층을 일회성 전처리 단계로 사용하여 입력 데이터의 해상도를 낮출 수 있습니다. 우리의 이전 경험에 따르면 초기 산란 레이어를 갖춘 구형 CNN은 수천만 픽셀의 해상도로 확장할 수 있으며, 이는 기존 구형 CNN 레이어로는 이전에 달성할 수 없었던 기능입니다.

전통적인 구형 딥러닝 방법에는 계산이 필요합니다.

구형 CNN(문서 1, 2, 3)은 기계 학습의 다양한 유형의 문제를 해결하는 데 매우 유용합니다. 왜냐하면 이러한 문제 중 많은 부분의 데이터 소스가 자연스럽게 표현될 수 없기 때문입니다. 비행기에서(이에 대한 소개 소개는 이전 기사 : https://towardsdatascience.com/geometric-deep-learning-for-sphere-data-55612742d05f를 참조하세요).

구형 CNN의 주요 특징은 구형 데이터의 회전에 대해 등변적이라는 것입니다(이 문서에서는 회전 등변 방법에 중점을 둡니다). 실제로 이는 구형 CNN이 인상적인 일반화 속성을 가지고 있어 회전 방식(그리고 다른 회전을 훈련하는 동안 메시를 볼 수 있는지 여부)에 관계없이 3D 개체의 메시를 분류하는 등의 작업을 수행할 수 있음을 의미합니다.

우리는 최근 기사 에서 Kagenova 팀 일련의 발전 을 설명하여 구형 CNN의 계산 효율성을 향상시켰습니다 결과 ( 참고 주소: https://towardsdatascience.com/efficient-generalized-sphere-cnns-1493426362ca). 우리가 채택 하는 방법 - 효율적인 일반화 구형 CNN - 전통적인 구형 CNN의 등분산 특성을 유지할 뿐만 아니라 동시에 계산을 더욱 효율적으로 만듭니다(문서 1 ). 그러나 이러한 계산 효율성의 발전에도 불구하고 구형 CNN은 여전히 ​​상대적으로 낮은 해상도의 데이터로 제한됩니다. 이는 , 구형 CNN 이 현재 우주 데이터 분석 및 가상 현실용 360도와 같은 고해상도 데이터 를 포함하는 흥미로운 응용 시나리오 에 적용할 수 없음을 의미합니다. 컴퓨터 비전 학위 그리고 다른 분야. 최근 출판 기사에서 우리는 효율적인 일반 구형 CNN 을 유연하게 조정 해상도를 향상시키기 위해 구형 산란층 네트워크를 도입했습니다(문서 4). 이 기사에서는 이 콘텐츠를 검토하세요. 고해상도 입력 데이터를 지원하는 하이브리드 접근 방식

효율적인 일반 구형 CNN(참고 1)을 개발하는 동안 우리는 구형 CNN 아키텍처를 구축하는 데 매우 효과적인 하이브리드 접근 방식을 발견했습니다. 하이브리드 구형 CNN은 동일한 네트워크에서 다양한 스타일의 구형 CNN 레이어를 사용할 수 있으므로 개발자는 다양한 처리 단계에서 다양한 유형의 레이어의 이점을 얻을 수 있습니다.

위 그림은 하이브리드 구형 CNN 아키텍처의 예를 보여줍니다(참고: 이 레이어는 단일 레이어가 아니라 몇 가지 다른 스타일의 구형 CNN 레이어입니다).

Scattering Networks on Spheres는 이러한 하이브리드 접근 방식을 이어가며 기존 구형 아키텍처에 연결할 수 있는 새로운 구형 CNN 레이어를 도입합니다. 효율적인 일반 구형 CNN을 더 높은 차원으로 확장하려면 이 새 레이어는 다음과 같은 특성을 가져야 합니다.

1. 계산 지원을 통한 확장성
2. 정보를 낮은 주파수로 혼합하여 후속 레이어가 낮은 해상도에서 수행할 수 있도록 함 running
3. rotational Equivariance
4. 안정적이고 국소적으로 불변하는 표현을 제공합니다(즉, 효율적인 표현 공간을 제공합니다)

우리는 산란 네트워크 계층이 위에 열거된 이러한 모든 특성을 충족할 수 있는 잠재력을 가지고 있다고 판단했습니다.

Scattering Networks on the Sphere

유클리드 맥락에서 Mallat(Ref. 5)가 처음 제안한 산란 네트워크는 웨이블릿 분석에서 파생된 고정 컨벌루션 필터가 있는 CNN으로 볼 수 있습니다. 산란 네트워크는 전통적인(유클리드) 컴퓨터 비전에 매우 유용한 것으로 입증되었으며, 특히 데이터가 제한되어 있는 경우(컨벌루션 필터 학습이 어려운 경우) 더욱 그렇습니다. 다음으로, 산란 네트워크 계층의 내부 작동 방식, 이전 섹션에서 정의된 요구 사항을 충족하는 방법, 구형 데이터 분석을 위해 개발할 수 있는 방법에 대해 간략하게 논의합니다.

산란 레이어 내의 데이터 처리는 세 가지 기본 작업으로 수행됩니다. 첫 번째 빌딩 블록은 고정 웨이블릿 컨볼루션으로, 이는 유클리드 CNN에서 사용되는 일반 학습 컨볼루션과 유사합니다. 웨이블릿 컨볼루션 후 산란 네트워크는 결과 표현에 모듈식 비선형 접근 방식을 적용합니다. 마지막으로, 산란은 일반 CNN의 풀링 레이어와 일부 유사한 로컬 평균 알고리즘을 수행하는 스케일링 함수를 사용합니다. 이 세 가지 구성 요소를 반복적으로 적용하면 입력 데이터가 계산 트리로 분산되고 다양한 처리 단계의 트리에서 결과 표현(CNN 채널과 유사)이 추출됩니다. 이러한 작업의 단순화된 도식은 다음과 같습니다.

이 그림은 구형 신호 f의 구형 산란 네트워크를 보여줍니다. 신호는 빨간색 노드로 표시되는 절대값 활성화 함수와 결합된 계단식 구형 웨이블릿 변환을 통해 전파됩니다. 산란 네트워크의 출력은 이러한 신호를 구형 웨이블릿 스케일링 함수에 투영하여 얻어지며, 그 결과 파란색 노드로 표시되는 산란 계수가 생성됩니다.

전통적인 딥러닝 관점에서 볼 때 분산형 네트워크의 운영은 다소 모호해 보입니다. 그러나 설명된 각 계산 작업에는 웨이블릿 분석의 신뢰할 수 있는 이론적 결과를 활용하는 것을 목표로 하는 특정 목적이 있습니다.

산란 네트워크의 웨이블릿 컨볼루션은 입력 데이터에서 관련 정보를 추출하기 위해 신중하게 파생됩니다. 예를 들어 자연 영상의 경우 고주파수에서는 가장자리와 저주파수에서는 물체의 일반적인 모양과 관련된 정보를 구체적으로 추출하기 위해 웨이블릿을 정의합니다. 따라서 평면 설정에서 분산형 네트워크 필터는 기존 CNN 필터와 일부 유사할 수 있습니다. 스케일로 구분된 웨이블릿을 사용하는 구형 설정에도 동일하게 적용됩니다(자세한 내용은 참조 4 참조).

웨이블릿 필터가 고정되어 있으므로 초기 산란 레이어는 한 번만 적용하면 되며 교육 과정 전체에 걸쳐 반복적으로 적용할 필요가 없습니다(기존 CNN의 초기 레이어와 유사). 이는 산란 네트워크를 계산적으로 확장 가능하게 만들어 위의 기능 1의 요구 사항을 충족시킵니다. 또한 산란 계층은 입력 데이터의 차원성을 줄입니다. 즉, 다운스트림 CNN 계층을 훈련할 때 산란 표현을 캐시하는 데 제한된 저장 공간만 사용해야 함을 의미합니다.

웨이블릿 컨볼루션 뒤에는 모듈러스 비선형 방법이 사용됩니다. 첫째, 이는 신경망 계층에 비선형 특성을 주입합니다. 둘째, 모듈러스 연산은 위의 요구사항 2를 충족시키기 위해 입력 신호의 고주파수 정보를 저주파 데이터에 혼합합니다. 아래 그림은 모듈러스 비선형 계산 전후의 데이터 웨이블릿 표현의 빈도 분포를 보여줍니다.

위 그림은 모듈러 작동 전후의 서로 다른 구면 주파수 l에서의 웨이블릿 계수 분포를 보여줍니다. 입력 신호의 에너지는 높은 주파수(왼쪽 패널)에서 낮은 주파수(오른쪽 패널)로 이동합니다. 여기서 f는 입력 신호이고 Ψ는 스케일링 j의 웨이블릿을 나타냅니다.

계수 계산을 적용한 후 결과 신호를 스케일링 함수에 투영합니다. 스케일링 함수는 기존 CNN의 풀링 함수 작업과 유사하게 표현 결과에서 저주파 정보를 추출합니다.

우리는 구형 산란 네트워크의 이론적 등분산 속성을 경험적으로 테스트했습니다. 테스트는 신호를 회전시켜 산란 네트워크를 통해 공급한 다음 결과 표현을 산란 네트워크를 통과한 후 입력 데이터의 결과 표현과 비교한 다음 회전 계산을 수행하여 수행됩니다. 아래 표의 데이터에서 주어진 깊이에 대한 등분산 오류가 낮으므로 위의 요구 사항 3을 충족한다는 것을 알 수 있습니다(일반적으로 실제로는 하나의 경로 깊이가 두 경로의 깊이를 초과하지 않습니다. 신호 에너지가 이미 캡처되었습니다).

다양한 깊이에서 구면 산란 네트워크의 회전 등분산 오차

마지막으로 유클리드 산란 네트워크가 작은 미분이나 왜곡에 안정적이라는 것이 이론적으로 입증되었습니다 (문학 5 ). 현재 이 결과는 소형 리만 다양체(문서 6), 특히 구형 환경(문서 4)의 산란 네트워크로 확장되었습니다. 실제로 시차 형태에 대한 안정성은 입력이 약간 변경되어도 산란 네트워크에서 계산된 표현이 크게 다르지 않음을 의미합니다(기하학적 딥러닝에서 안정성의 역할에 대한 논의는 이전 게시물을 참조하세요 , 주소는 다음과 같습니다). https://towardsdatascience.com/a-brief-introduction-to-geometric-deep-learning-dae114923ddb). 따라서 산란 네트워크는 위의 요구 사항 4를 충족하여 후속 학습이 효율적으로 수행될 수 있는 잘 수행된 표현 공간을 제공합니다.

확장 가능하고 회전 등변적 구형 CNN

도입된 산란 레이어가 원하는 모든 속성을 충족한다는 점을 고려하여 다음으로 이를 하이브리드 구형 CNN에 통합할 준비가 되었습니다. 앞서 언급한 것처럼, 산란 레이어는 후속 구형 레이어 처리를 위한 표현의 크기를 줄이기 위한 초기 전처리 단계로 기존 아키텍처에 고정될 수 있습니다.

위 사진에서 산란 레이어 모듈(점선 왼쪽)이 디자인 레이어입니다. 즉, 훈련이 필요하지 않지만 나머지 레이어(점선 오른쪽)는 훈련 가능하다는 의미입니다. 따라서 이는 입력 데이터의 차원을 줄이기 위해 산란 레이어를 일회성 전처리 단계로 적용할 수 있음을 의미합니다.

분산 네트워크에는 주어진 입력에 대한 고정된 표현이 있으므로 분산 네트워크 레이어는 훈련 시작 시 전체 데이터 세트에 한 번 적용할 수 있으며 결과적인 저차원 표현은 후속 레이어를 훈련하기 위해 캐시됩니다. 다행스럽게도 분산형 표현은 차원이 감소되어 이를 저장하는 데 필요한 디스크 공간이 상대적으로 적습니다. 이 새로운 구형 산란층의 존재로 인해 효율적인 일반화된 구형 CNN은 고해상도 분류 문제 영역으로 확장될 수 있습니다.

우주 마이크로파 배경 이방성의 분류

물질은 우주 전체에 어떻게 분포되어 있나요? 이것은 우주론자들의 근본적인 연구 질문이며 우주의 기원과 진화에 대한 이론적 모델에 중요한 의미를 갖습니다. 빅뱅의 잔여 에너지인 우주 마이크로파 배경(CMB)은 우주의 물질 분포를 지도로 보여줍니다. 우주론자들은 천구에서 CMB를 관찰하는데, 이를 위해서는 천구 내에서 우주론적 분석을 가능하게 하는 계산 방법이 필요합니다.

우주학자들은 우주 마이크로파 배경을 분석하는 방법에 매우 관심이 많습니다. 왜냐하면 이러한 방법은 우주 전반에 걸친 우주 마이크로파 배경 분포에서 비가우시안 특성을 탐지할 수 있기 때문입니다. 이는 초기 우주 이론에 중요한 의미를 갖습니다. 이러한 분석적 접근 방식은 천문학적 해상도까지 확장할 수 있어야 합니다. 우리는 CMB 시뮬레이션을 L = 1024의 해상도로 가우스 또는 비가우스로 분류하여 산란 네트워크가 이러한 요구 사항을 충족한다는 것을 보여줍니다. 산란 네트워크는 이러한 시뮬레이션을 95.3%의 정확도로 성공적으로 분류했는데, 이는 저해상도 기존 구형 CNN이 달성한 53.1%보다 훨씬 뛰어납니다.

위 그림은 구형 산란 네트워크가 고해상도로 확장되는 능력을 평가하기 위한 가우스 및 비가우시안 유사 CMB의 고해상도 시뮬레이션 예를 제공합니다.

요약

이 기사에서는 입력 표현의 차원을 압축하는 동시에 다운스트림 작업에 대한 중요한 정보를 보존하는 구형 산란 레이어의 기능을 살펴보았습니다. 우리는 이것이 산란 레이어를 고해상도 구 분류 작업에 매우 유용하게 만든다는 것을 보여주었습니다. 이는 우주 데이터 분석 및 고해상도 360 이미지/비디오 분류와 같이 이전에는 다루기 어려웠던 잠재적 응용 분야에 대한 문을 열어줍니다. 그러나 조밀한 예측이 필요한 분할 또는 깊이 추정과 같은 많은 컴퓨터 비전 문제에는 고차원 출력과 고차원 입력이 모두 필요합니다. 마지막으로, 등분산을 유지하면서 출력 표현의 차원성을 높일 수 있는 제어 가능한 구형 CNN 레이어를 개발하는 방법은 Kagenova 개발자의 현재 연구 주제입니다. 이에 대해서는 다음 기사에서 다룰 것입니다.

참고자료

[1]Cobb, Wallis, Mavor-Parker, Marignier, Price, d'Avezac, McEwen, Efficient Generalized Spherical CNNs, ICLR(2021), arXiv:2010.11661

[2] Cohen , Geiger, Koehler, Welling, Spherical CNNs, ICLR (2018), arXiv:1801.10130

[3] Esteves, Allen-Blanchette, Makadia, Danilidis, Learning SO(3) 구형 CNN을 사용한 등변 표현, ECCV (2018) , ARXIV : 1711.06721

[4] McEwen, Jason, Wallis, Christopher 및 Mavor-Parker, Augustine N., 확장 가능하고 회전 적으로 동등한 구형 CNNS, ICLR (2022), arxiv : 2102.02828

을위한 구체의 산란 네트워크

[5] ​​Bruna, Joan 및 Stéphane Mallat, 불변 산란 컨볼루션 네트워크, IEEE Transaction on Pattern Analysis and Machine Intelligence(2013)

[6] Perlmutter, Michael 등, Compact Riemannian의 기하학적 웨이블릿 산란 네트워크 Manifolds, Mathematical and Scientific Machine Learning PMLR(2020), arXiv:1905.10448

번역자 소개

Zhu Xianzhong, 51CTO 커뮤니티 편집자, 51CTO 전문 블로거, 강사, 프리랜서 베테랑인 Weifang 대학의 컴퓨터 교사 프로그래밍 산업 조각.

원제: ​​고해상도 입력 데이터로 구형 딥 러닝 확장​​, 작성자: Jason McEwen, Augustine Mavor-Parker

🎜🎜

위 내용은 구형 딥러닝을 고해상도 입력 데이터로 확장의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!