확산 모델은 알고리즘 문제를 극복하고 AGI는 멀지 않습니다! Google Brain은 미로에서 최단 경로를 찾습니다.

"확산 모델"도 알고리즘 문제를 극복할 수 있나요?

Pictures

한 박사 연구원이 이미지로 표현된 미로에서 최단 경로를 찾기 위해 "이산 확산"을 사용하는 흥미로운 실험을 했습니다.

Pictures

저자에 따르면 각 미로는 수평과 수직의 벽을 반복적으로 추가하여 생성됩니다.

그 중 출발지점과 목표지점은 랜덤하게 선택됩니다.

시작점에서 목표점까지의 최단 경로에서 경로를 솔루션으로 무작위로 샘플링합니다. 최단 경로는 정확한 알고리즘을 사용하여 계산됩니다.

Pictures

그런 다음 이산 확산 모델과 U-Net을 사용합니다.

시작점과 대상 미로가 하나의 채널에 인코딩되고, 모델은 미로의 노이즈를 제거하기 위해 다른 채널의 솔루션을 사용합니다.

Pictures

미로가 조금 더 어려워도 잘 할 수 있어요.

Pictures

노이즈 제거 단계 p(x_{t-1} | x_t)를 추정하기 위해 알고리즘은 p(x_0 | x_t)를 추정합니다. 프로세스 중에 이 추정치(맨 아래 행)를 시각화하면 "현재 가정"이 표시되고 궁극적으로 결과에 중점을 둡니다.

Pictures

NVIDIA 수석 과학자 Jim Fan은 이것이 흥미로운 실험이며 확산 모델이 알고리즘을 "렌더링"할 수 있다고 말했습니다. Transforme보다 훨씬 약한 U-Net을 사용해도 픽셀에서만 미로 탐색을 구현할 수 있습니다.

저는 항상 확산 모델이 렌더러이고 Transformer가 추론 엔진이라고 생각했습니다. 렌더러 자체도 매우 복잡한 순차 알고리즘을 인코딩할 수 있는 것 같습니다.

Picture

이 실험은 네티즌들에게 "확산 모델이 또 무엇을 할 수 있습니까?!"라고 충격을주었습니다. 확산 변환기를 훈련하면 AGI가 문제를 해결할 것입니다.

Pictures

그러나 이 연구는 아직 공식적으로 발표되지 않았으며, 저자는 추후 arxiv에 업데이트될 것이라고 말했습니다.

이 실험에서는 2021년 Google Brain 팀이 제안한 이산 확산 모델을 사용했다는 점을 언급할 가치가 있습니다.

사진

최근에 이 연구는 새 버전으로 업데이트되었습니다.

이산 확산 모델

"생성 모델"은 머신러닝의 핵심 문제입니다.

자연 데이터세트에 대한 통계를 캡처하는 능력을 측정하는 능력과 이미지, 텍스트, 음성과 같은 고차원 데이터를 생성해야 하는 다운스트림 애플리케이션에 모두 사용할 수 있습니다.

GAN, VAE, 대규모 자동 회귀 신경망 모델, 정규화된 흐름 및 기타 방법은 샘플 품질, 샘플링 속도, 로그 우도 및 훈련 안정성 측면에서 고유한 장점을 가지고 있습니다.

최근 이미지 및 오디오 생성에서 "확산 모델"이 가장 인기 있는 대안이 되었습니다.

더 적은 추론 단계로 GAN에 필적하는 샘플 품질과 자기회귀 모델에 필적하는 로그 우도를 달성할 수 있습니다. Pictures

paper 주소 : https://www.php.cn/link/46994a3cd8d943d03b44b8fc9792d435 일부 사람들은 불연속 및 연속 상태 공간의 확산 모델을 제안했지만 최근 연구에 중점을 두었습니다. 연속 상태 공간(예: 실제 값 이미지 및 파형 데이터)에서 작동하는 가우스 확산 프로세스.

이산 상태 공간의 확산 모델은 텍스트 및 이미지 분할 분야에서 탐구되었지만 텍스트 및 이미지의 대규모 생성 작업에서는 경쟁력 있는 모델인 것으로 입증되지 않았습니다.

Google 연구팀은 새로운 이산 잡음 제거 확산 확률 모델(D3PM)을 제안했습니다.

연구에서 저자는 전환 행렬의 선택이 이미지와 텍스트 영역 모두에서 결과를 향상시킬 수 있는 중요한 디자인 결정임을 입증했습니다.

또한 그들은 가변 하한과 보조 교차 엔트로피 손실을 결합한 새로운 손실 함수를 제안했습니다.

텍스트 측면에서 이 모델은 대규모 어휘 LM1B 데이터 세트로 확장 가능하면서 문자 수준 텍스트 생성에서 좋은 결과를 얻습니다.

CIFAR-10 이미지 데이터 세트에서 최신 모델은 연속 공간 DDPM 모델의 샘플 품질에 접근하고 연속 공간 DDPM 모델의 로그 우도를 초과합니다.

Pictures

프로젝트 작성자

Arnaud Pannatier

François 감독 하의 2020년 3월 Arnaud Pannatier Fleuret 머신러닝 그룹에서 박사 학위를 시작합니다.

그는 최근 슈퍼 네트워크를 사용하여 MLPMixer가 다양한 길이의 입력을 처리할 수 있도록 하는 HyperMixer를 개발했습니다. 이를 통해 모델은 순열 불변 방식으로 입력을 처리할 수 있으며 입력 길이에 따라 선형적으로 확장되는 주의력 동작을 모델에 제공하는 것으로 나타났습니다.

EPFL에서 그는 물리학 학사 학위와 컴퓨터 과학 및 공학 석사 학위(CSE-MASH)를 받았습니다.

참고자료:

https://www.php.cn/link/46994a3cd8d943d03b44b8fc9792d435

https://www.php.cn/link/1879 d 84e181b6262704e95372dc9f4dc

위 내용은 확산 모델은 알고리즘 문제를 극복하고 AGI는 멀지 않습니다! Google Brain은 미로에서 최단 경로를 찾습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!