롤! MIT 포아송 흐름 생성 모델은 품질과 속도를 모두 고려하여 확산 모델을 능가합니다.

소개

확산 모델은 원래 물리학의 열역학에서 파생되었으나 최근에는 인공지능 분야에서도 인기를 끌고 있습니다. 생성 모델 연구의 발전을 촉진할 수 있는 다른 물리적 이론은 무엇입니까? 최근 MIT의 연구원들은 고차원 전자기 이론에서 영감을 받아 Poisson Flow라는 생성 모델을 제안했습니다. 이론적으로 이 모델은 직관적인 이미지와 엄격한 이론을 가지고 있으며 실험적으로는 생성 품질, 생성 속도 및 견고성 측면에서 확산 모델보다 나은 경우가 많습니다. 이 기사는 NeurIPS 2022에 승인되었습니다.

• 논문 주소: https://arxiv.org/abs/2209.11178
• 코드 주소: https://github.com/Newbeeer/Poisson_flow

정전기 역학에서 영감을 얻었습니다. , 연구자들은 Poisson flow model(Poisson Flow Generative Models 또는 PFGM)이라는 새로운 생성 모델을 제안했습니다. 직관적으로 본 연구에서는 N차원 데이터 포인트를 N+1차원 공간의 새로운 차원인 z=0 평면의 양전하 집단으로 간주할 수 있습니다. 이들은 고차원 공간에서 전기장을 생성합니다. z=0 평면에서 시작하여 생성된 전기장 선을 따라 바깥쪽으로 이동하면서 연구는 샘플을 반구로 전달할 수 있었습니다(그림 1 참조). 이러한 전기력선의 방향은 고차원 공간에서 푸아송 방정식에 대한 해의 기울기에 해당합니다. 연구진은 반구의 반경이 충분히 클 때 전기장 선이 z=0 평면의 전하 분포(즉, 데이터 분포)를 반구의 균일한 분포로 변환할 수 있음을 증명했습니다(그림 2).

PFGM은 전기장 선의 가역성을 활용하여 z=0 평면에서 데이터 분포를 생성합니다. 먼저 연구원들은 큰 반구에서 균일하게 샘플링한 다음 샘플이 구에서 z=0으로 이동하도록 합니다. 전기력선을 따라 평면을 형성하여 데이터를 생성합니다. 전기장선을 따른 운동은 상미분방정식(ODE)으로 설명할 수 있으므로 실제 샘플링에서 연구자들은 전기장선의 방향에 따라 결정되는 ODE만 풀면 됩니다. PFGM은 전기장을 통해 구면의 단순 분포를 복잡한 데이터 분포로 변환합니다. 이러한 관점에서 PFGM은 연속적인 정규화 흐름(Normalizing Flow)으로 간주될 수 있습니다.

이미지 생성 실험에서 PFGM은 현재 표준 데이터세트 CIFAR-10에서 가장 성능이 좋은 정규화된 흐름 모델으로 FID 점수(이미지 품질 측정값) 2.35를 달성했습니다. 연구원들은 또한 이미지 가능성을 계산하고, 이미지 편집을 수행하고, 고해상도 이미지 데이터 세트로 확장하는 기능과 같은 PFGM의 다른 용도도 시연했습니다. 또한 연구원들은 PFGM이 최근 인기 있는 확산 모델에 비해 세 가지 장점이 있음을 발견했습니다.

(1) 동일한 네트워크 구조에서 PFGM의 ODE에 의해 생성된 샘플 품질은 확산 모델의 ODE보다 훨씬 좋습니다. (2) 확산 모델의 SDE(확률적 미분 방정식)의 생성 품질은 거의 동일하지만 PFGM의 ODE는 10배 - 20배의 속도 향상에 도달했습니다.

(3) PFGM의 표현 능력; 약한 네트워크는 확산 모델보다 구조적으로 더 강력합니다.

그림 1: 샘플 지점이 전기장 선을 따라 이동합니다. 위: 데이터 분포는 하트 모양입니다. 아래: 데이터는 PFGM

모양으로 분포되어 있습니다. 그림 2: 왼쪽: 세 개의 포아송 장의 궤적 오른쪽: 이미지에서 PFGM을 사용하여 ODE를 정방향으로 하고 ODE를 역방향으로 사용합니다.

방법 개요

위 프로세스는 N차원 데이터를 N+1차원(추가 z차원) 공간에 삽입한다는 점에 유의하세요. 구별을 용이하게 하기 위해 연구자들은 x와 을 사용하여 N차원 데이터와 N+1 차원을 나타냅니다. 위에서 언급한 고차원 전기장선을 얻으려면 다음 포아송 방정식을 풀어야 합니다.

여기서 은 z=0 평면에서 생성하려는 데이터 분포입니다. 잠재함수이기도 하고, 이것이 연구자들이 해결하고자 하는 목표이기도 합니다. 전기력선의 방향만 알면 되므로 연구진은 전기력선 기울기(전위함수 기울기)의 분석 형태를 도출했습니다.

전기장의 궤적 선(그림 2 참조)은 다음 ODE로 계산할 수 있습니다. 설명:

다음 정리에서 연구자들은 위의 ODE가 고차원 반구에 대한 균일 분포의 전단사를 정의한다는 것을 증명하고 데이터는 z=0 평면에서의 분포. 이 결론은 그림 1과 2의 직관과 동일합니다. 즉, 전기력선을 통해 데이터 분포를 복원할 수 있습니다.

PFGM 훈련 ​

데이터 분포에서 샘플링된 데이터 세트가 주어지면, 연구자들은 데이터 분포를 근사화하기 위해 데이터 세트에 해당하는 전기장선 기울기를 사용합니다. 전기장선 기울기:

이 전기장선 기울기는 학습 대상입니다. 이 연구에서는 perturb 기능을 사용하여 공간의 점을 선택하고 제곱 손실 기능을 통해 신경망 이 공간의 정규화된 전기장 선 기울기를 학습할 수 있습니다. 구체적인 알고리즘은 다음과 같습니다.

PFGM sampling​

공간에서 정규화된 전기장선 기울기를 학습하기 위해 정규화를 학습한 후 데이터 분포는 다음 ODE를 통해 샘플링할 수 있습니다.

이 ODE는 z를 줄임으로써 샘플이 전기장 선을 따라 큰 구에서 z=0 평면으로 점진적으로 이동하도록 만듭니다. 또한, 본 연구에서는 ODE 시뮬레이션을 용이하게 하고 변수 대체를 통해 샘플링을 더욱 가속화하기 위해 큰 구의 균일 분포를 특정 z-평면에 투영하는 것을 제안합니다. 구체적인 단계는 기사의 섹션 3.3을 참조하세요.

실험 결과

표 1에서 이 연구는 표준 데이터 세트 CIFAR-10을 사용하여 다양한 모델을 평가합니다. 이 데이터 세트에서 PFGM은 FID 점수 2.35를 달성하여 가장 성능이 좋은 가역 정규화 흐름 모델입니다. PFGM은 동일한 네트워크 구조(DDPM++/DDPM++ 깊이)를 사용하는 확산 모델보다 더 나은 성능을 발휘합니다. 연구원들은 또한 확산 모델의 SDE(확률적 미분 방정식) 생성 품질이 유사하지만 PFGM이 10~20배의 가속을 달성하여 생성 품질과 속도의 균형을 더 잘 유지한다는 것을 관찰했습니다. 또한 연구원들은 PFGM이 표현 능력이 약한 네트워크 구조의 확산 모델보다 더 강력하고 고차원 데이터 세트에 대한 동일한 조건에서 확산 모델보다 여전히 우수하다는 것을 발견했습니다. 자세한 내용은 기사의 실험 섹션을 참조하세요. 그림 3에서 연구는 PFGM이 이미지를 생성하는 과정을 시각화합니다.

표 1: CIFAR-10 데이터

에 대한 샘플 품질(FID, Inception) 및 샘플링 단계(NFE)

사진 3: CIFAR-10, CelebA 64x64, LSUN 침실 256x256

결론

본 연구에서는 포아송 방정식을 기반으로 한 생성 모델 PFGM을 제안합니다. 이 모델은 N+1 차원의 확장된 공간에서 정규화된 전기장선 기울기를 예측하고 전기장선의 해당 ODE로 샘플링됩니다. 실험 결과, 본 연구에서 연구한 모델은 현재 가장 표준화된 흐름 모델이며, 동일한 네트워크 구조에서 확산 모델보다 더 나은 생성 효과와 더 빠른 샘플링 속도를 달성했습니다. PFGM의 샘플링 프로세스는 노이즈에 더욱 강력하며 더 높은 차원의 데이터 세트로 확장될 수도 있습니다. 연구원들은 PFGM이 분자 생성 및 3D 데이터 생성과 같은 다른 응용 분야에서도 좋은 성능을 발휘할 것으로 기대합니다.

위 내용은 롤! MIT 포아송 흐름 생성 모델은 품질과 속도를 모두 고려하여 확산 모델을 능가합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!