확산 모델을 사용하여 네트워크 매개변수를 생성하는 LeCun은 You Yang 팀의 새로운 연구를 칭찬합니다.

소라가 생성한 영상에 충격을 받았다면, 영상 생성에서 확산 모델의 엄청난 잠재력을 보셨을 것입니다. 물론, 확산 모델의 잠재력은 여기서 끝나지 않습니다. 더 많은 사례에 대해서는 당사의 최근 보고서 "확산을 요약한 기사인 Sora 폭발의 기술"을 참조하세요. 최신 모델 개발 방향》.

최근 싱가포르 국립 대학교, 캘리포니아 버클리 대학교, Meta AI Research의 You Yang 팀이 실시한 연구에서는 신경망에 대한 모델 매개 변수를 생성하는 데 사용되는 확산 모델의 새로운 응용 프로그램을 발견했습니다.

• 논문 주소: https://arxiv.org/pdf/2402.13144.pdf

• 프로젝트 주소: https://github.com/NUS-HPC-AI-Lab/Neural-Network- Diffusion

• 논문 제목: Neural Network Diffusion

이 방법을 사용하면 기존 신경망을 이용하여 새로운 모델을 쉽게 생성할 수 있을 것 같습니다! Yann LeCun은 이를 높이 평가하고 공유합니다. 생성된 모델은 원본 모델의 성능을 유지할 뿐만 아니라 이를 능가할 수도 있습니다.

확산 모델은 원래 비평형 열역학 개념에서 파생되었습니다. 2015년 Jascha Sohl-Dickstein 등은 "비평형 열역학을 사용한 심층 비지도 학습"이라는 논문에서 처음으로 확산 프로세스를 사용하여 입력에서 노이즈를 점진적으로 제거하여 선명한 이미지를 얻었습니다.

DDPM 및 DDIM과 같은 후속 연구에서는 확산 모델을 최적화하고 훈련 패러다임에 정방향 프로세스와 역방향 프로세스의 뚜렷한 특성을 부여했습니다.

당시에는 확산 모델로 생성된 이미지 품질이 아직 이상적인 수준에 도달하지 못했습니다.

GuidedDiffusion 이 작업은 광범위한 절제 연구를 수행하고 더 나은 아키텍처를 발견합니다. 이 선구적인 작업은 확산 모델이 이미지 품질에서 GAN 기반 방법을 능가할 수 있도록 하기 시작합니다. GLIDE, Imagen, DALL·E 2 및 Stable Diffusion과 같은 최신 모델에서는 이미 사실적인 이미지를 생성할 수 있습니다.

비전 생성 분야에서는 확산 모델이 큰 성공을 거두었지만, 다른 분야에서의 잠재력은 상대적으로 충분히 탐구되지 않았습니다.

싱가포르국립대학교, 캘리포니아대학교 버클리캠퍼스, Meta AI Research의 최근 연구에서는 확산 모델의 놀라운 능력, 즉 고성능 모델 매개변수 생성 기능을 발견했습니다.

이 작업은 기존의 시각적 생성 작업과 근본적으로 다르다는 것을 알아야 합니다! 매개변수 생성 작업은 주어진 작업에서 잘 수행되는 신경망 매개변수를 만드는 데 중점을 둡니다. 연구자들은 이전에 확률론적 신경망 및 베이지안 신경망과 같은 선험적 및 확률적 모델링 관점에서 이 작업을 탐색했습니다. 그러나 이전에는 확산 모델을 사용하여 매개변수를 생성하는 방법을 연구한 사람이 없습니다.

그림 1과 같이 신경망의 훈련 과정과 확산 모델을 주의 깊게 관찰하면 확산 기반 이미지 생성 방법과 확률적 경사하강법(SGD) 학습 과정에는 몇 가지 공통점이 있음을 알 수 있습니다. 1) 신경망의 학습 과정과 확산 모델의 역과정은 랜덤 노이즈/초기화에서 특정 분포로 변환되는 과정으로 볼 수 있습니다. 2) 노이즈를 여러 번 추가하여 고품질의 이미지와 고성능 매개변수를 생성합니다. 가우스 분포와 같은 단순 분포로 다운그레이드될 수 있습니다.

위 관찰을 바탕으로 팀은 매개변수 생성을 위한 새로운 방법인 신경망 확산(p-diff로 축약됨)을 제안했습니다. 여기서 p는 매개변수를 나타냅니다.

이 방법의 아이디어는 매우 간단합니다. 표준 암시적 확산 모델을 사용하여 신경망의 매개변수 세트를 합성하는 것입니다. 확산 모델은 주어진 무작위 분포를 특정 분포로 변환할 수 있기 때문입니다.

그들의 접근 방식은 간단합니다. 자동 인코더와 표준 잠재 확산 모델의 조합을 사용하여 고성능 매개변수 분포를 학습합니다.

먼저, SGD 최적화 프로그램을 사용하여 훈련된 모델 매개변수의 하위 집합에 대해 자동 인코더는 이러한 매개변수의 잠재 표현을 추출하도록 훈련됩니다. 그런 다음 표준 잠재 확산 모델을 사용하여 잡음에서 시작하는 잠재 표현을 합성합니다. 마지막으로 훈련된 오토인코더는 합성된 잠재 표현을 처리하여 새로운 고성능 모델 매개변수를 얻는 데 사용됩니다.

이 새로운 방법은 다음 두 가지 특성을 나타냅니다. 1) 여러 데이터 세트 및 아키텍처에서 성능은 몇 초 내에 훈련 데이터(즉, SGD 최적화 프로그램으로 훈련된 모델)와 비슷하며 2) 생성된 데이터보다 훨씬 뛰어납니다. 모델은 훈련된 모델과 상당히 다르며, 이는 새로운 방법이 훈련 샘플을 기억하는 대신 새로운 매개변수를 합성할 수 있음을 보여줍니다.

신경망 확산

확산 모델 소개

확산 모델은 일반적으로 다단계 체인 프로세스를 형성하는 순방향 및 역방향 프로세스로 구성되며 시간 단계로 인덱싱할 수 있습니다.

전달 프로세스. 샘플 x_0 ∼ q(x)가 주어지면 순방향 프로세스는 x_1, x_2...x_T를 얻기 위해 T 단계로 가우스 노이즈를 점진적으로 추가하는 것입니다.

역과정. 순방향 프로세스와 달리 역방향 프로세스의 목표는 x_t에서 잡음을 재귀적으로 제거할 수 있는 잡음 제거 네트워크를 훈련시키는 것입니다. 이 과정은 여러 단계의 반대입니다. 여기서 t는 T에서 0까지 계속 감소합니다.

신경망 확산 방법 개요

신경망 확산(p-diff) 이 새로운 방법의 목표는 무작위 노이즈를 기반으로 고성능 매개변수를 생성하는 것입니다. 그림 2에서 볼 수 있듯이 이 방법은 매개변수 오토인코더와 매개변수 생성이라는 두 가지 프로세스로 구성됩니다.

훈련된 고성능 모델 집합이 주어지면 먼저 해당 매개변수의 하위 집합을 선택하고 이를 1차원 벡터로 평면화합니다.

이후 인코더는 이러한 벡터의 암시적 표현을 추출하는 데 사용되며 디코더는 이러한 암시적 표현을 기반으로 매개변수를 재구성하는 일을 담당합니다.

그런 다음 표준 잠재 확산 모델을 학습하여 무작위 노이즈를 기반으로 이 잠재 표현을 합성합니다.

훈련 후에는 p-diff를 사용하여 무작위 잡음 → 역과정 → 훈련된 디코더 → 생성된 매개변수와 같은 연쇄 프로세스를 통해 새로운 매개변수를 생성할 수 있습니다.

Experiment

팀은 다른 연구자들이 결과를 재현하는 데 도움이 될 수 있는 자세한 실험 설정을 제공했습니다. 여기서는 결과와 절제 연구에 더 중점을 둡니다.

결과

표 1은 8개 데이터세트와 6개 아키텍처에 대한 두 가지 기준 방법을 사용한 결과를 비교한 것입니다.

이러한 결과를 바탕으로 다음과 같은 관찰을 할 수 있습니다. 1) 대부분의 실험 사례에서 새로운 방법은 두 가지 기본 방법과 비슷하거나 더 나은 결과를 얻을 수 있습니다. 이는 새로 제안된 방법이 고성능 매개변수의 분포를 효율적으로 학습하고 랜덤 노이즈를 기반으로 더 나은 모델을 생성할 수 있음을 보여줍니다. 2) 새로운 방법은 여러 다른 데이터 세트에서 잘 수행되며 이는 이 방법이 일반화 성능이 우수하다는 것을 보여줍니다.

절제 연구 및 분석

표 2(a)는 다양한 학습 데이터 크기(예: 원본 모델 수)의 영향을 보여줍니다. 보시다시피, 다양한 수의 원본 모델에 대한 최상의 결과 간의 성능 차이는 실제로 그다지 크지 않습니다.

다른 정규화 계층 깊이에서 p-diff의 효율성을 연구하기 위해 팀은 다른 얕은 매개변수를 합성하는 새로운 방법의 성능도 조사했습니다. 동일한 수의 BN 매개변수를 보장하기 위해 팀은 세 세트의 BN 레이어(서로 다른 깊이의 레이어 사이에 위치)에 대해 새로 제안된 방법을 구현했습니다. 실험 결과는 표 2(b)에 나와 있습니다. BN 레이어 설정의 모든 깊이에서 새로운 방법의 성능(최고 정확도)이 원래 모델의 성능보다 우수하다는 것을 알 수 있습니다.

잡음 강화의 목적은 훈련된 자동 인코더의 견고성과 일반화 능력을 향상시키는 것입니다. 팀은 입력 매개변수와 암시적 표현에 노이즈 향상을 적용하는 방법에 대한 절제 연구를 수행했습니다. 결과를 표 2(c)에 나타내었다.

이전에 실험에서는 모델 매개변수(예: 배치 정규화 매개변수)의 하위 집합을 합성하는 새로운 방법의 효율성을 평가했습니다. 따라서 우리는 묻지 않을 수 없습니다. 이 방법을 사용하여 모델의 전체 매개변수를 합성할 수 있습니까?

이 질문에 답하기 위해 팀에서는 MLP-3와 ConvNet-3라는 두 가지 작은 아키텍처를 사용하여 실험을 수행했습니다. 그 중 MLP-3에는 3개의 선형 레이어와 ReLU 활성화 함수가 포함되어 있고 ConvNet-3에는 3개의 컨벌루션 레이어와 1개의 선형 레이어가 포함되어 있습니다. 앞서 언급한 교육 데이터 수집 전략과 달리 팀은 200개의 다양한 무작위 시드를 기반으로 이러한 아키텍처를 처음부터 교육했습니다.

표 3은 새로운 방법을 두 가지 기본 방법(원래 방법과 앙상블 방법)과 비교한 실험 결과를 제공합니다. CIFAR-10/100의 ConvNet-3과 CIFAR-10 및 MNIST의 MLP-3의 결과와 매개변수 수의 비교를 보고합니다.

이러한 실험은 전체 모델 매개변수를 합성하는 데 있어 새로운 방법의 효율성과 일반화 능력을 보여줍니다. 즉, 새로운 방법이 기본 방법과 비슷하거나 더 나은 성능을 달성한다는 의미입니다. 이러한 결과는 또한 새로운 방법의 실제 적용 가능성을 보여줄 수 있습니다.

그러나 팀은 현재 ResNet, ViT 및 ConvNeXt와 같은 대규모 아키텍처의 전체 매개변수를 합성할 수 없다는 사실도 논문에서 보여주었습니다. 이는 주로 GPU 메모리의 한계로 인해 제한됩니다.

이 새로운 방법이 신경망 매개변수를 효과적으로 생성할 수 있는 이유에 대해 연구팀도 그 이유를 탐색하고 분석하려고 노력했습니다. 그들은 3개의 무작위 시드를 사용하여 ResNet-18을 처음부터 훈련하고 그림 3과 같이 매개변수를 시각화했습니다.

최소-최대 정규화 방법을 사용하여 다양한 레이어의 매개변수 분포에 대한 히트맵을 얻었습니다. 컨벌루션 레이어(Conv.-layer2)와 완전 연결 레이어(FC-layer18)의 시각화 결과를 바탕으로 이러한 레이어에 특정 매개변수 패턴이 존재한다는 것을 알 수 있습니다. 이러한 패턴을 학습함으로써 새로운 방법은 고성능 신경망 매개변수를 생성할 수 있습니다.

p-diff는 메모리에만 의존하나요?

p-diff는 신경망 매개변수를 생성할 수 있는 것 같은데, 매개변수를 생성하나요, 아니면 그냥 기억하는 걸까요? 팀은 이에 대해 몇 가지 조사를 수행하고 원본 모델과 생성된 모델 간의 차이점을 비교했습니다.

정량적 비교를 위해 유사성 지수를 제안했습니다. 간단히 말해서 이 지표는 잘못된 예측 결과의 IoU(Intersection over Union) 비율을 계산하여 두 모델 간의 유사성을 결정합니다. 그런 다음 이를 기반으로 몇 가지 비교 연구와 시각화를 수행했습니다. 비교 결과는 그림 4에 나와 있습니다.

그림 4(a)는 4가지 비교 방식을 포함하는 원래 모델과 p-diff 모델 간의 유사성 비교를 보고합니다.

보시다시피 생성된 모델 간의 차이는 원본 모델 간의 차이보다 훨씬 큽니다. 또한 원본 모델과 생성된 모델 간의 최대 유사성도 원본 모델 간의 유사성보다 낮습니다. 이는 p-diff가 훈련 데이터(즉, 원래 모델)와 다른 새로운 매개변수를 생성할 수 있다는 것을 보여주기에 충분합니다.

팀은 또한 새로운 방법을 미세 조정된 모델과 노이즈가 추가된 모델과 비교했습니다. 결과는 그림 4(b)에 나와 있습니다.

미세조정된 모델과 노이즈가 추가된 모델은 원래 모델을 능가하기 어렵다고 볼 수 있습니다. 또한, 미세 조정된 모델이나 노이즈가 추가된 모델과 원본 모델 사이의 유사도가 매우 높아 이 두 가지 작업 방법이 완전히 새로운 고성능 모델을 얻을 수 없음을 나타냅니다. 그러나 새로운 방법으로 생성된 모델은 원래 모델보다 다양한 유사성과 더 나은 성능을 보여줍니다.

팀에서는 암시적 표현도 비교했습니다. 결과는 그림 4(c)에 나와 있습니다. 볼 수 있듯이 p-diff는 완전히 새로운 잠재 표현을 생성할 수 있는 반면, 노이즈 방법을 추가하면 원래 모델의 잠재 표현 주위에만 보간됩니다.

팀에서는 p-diff 과정의 궤적도 시각화했습니다. 구체적으로 그들은 추론 단계의 다양한 시간 단계에서 생성된 매개변수 궤적을 플롯했습니다. 그림 5(a)는 5개의 궤적을 보여줍니다(5개의 서로 다른 무작위 노이즈 초기화 사용). 그림의 빨간색 중앙은 원본 모델의 평균 매개변수이고 회색 영역은 표준편차(std)입니다.

시간 단계가 증가함에 따라 생성된 매개변수는 전체적으로 원래 모델에 더 가까워집니다. 그러나 이러한 궤적의 끝점(주황색 삼각형)은 여전히 ​​평균 매개변수로부터 어느 정도 떨어져 있음을 알 수 있습니다. 게다가 이 다섯 가지 궤적의 모양도 매우 다양합니다.

마지막으로 팀에서는 원본 모델 수(K)가 생성된 모델의 다양성에 미치는 영향을 연구했습니다. 그림 5(b)는 원래 모델과 다른 K에 대해 생성된 모델 간의 최대 유사성을 시각적으로 보여줍니다. 구체적으로, 생성된 50개의 모델이 모든 경우에 76.5%보다 나은 성능을 발휘할 때까지 계속해서 매개변수를 생성하여 50개의 모델을 생성했습니다.

K=1인 경우 유사도는 매우 높고 범위는 좁은 것을 알 수 있는데, 이는 이때 생성된 모델이 기본적으로 원본 모델의 매개변수를 기억하고 있음을 나타냅니다. K가 증가함에 따라 유사성 범위도 커지며, 이는 새로운 방법이 원래 모델과 다른 매개변수를 생성할 수 있음을 나타냅니다.

위 내용은 확산 모델을 사용하여 네트워크 매개변수를 생성하는 LeCun은 You Yang 팀의 새로운 연구를 칭찬합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!