AI의 최하위층에 침입하세요! NUS Youyang 팀은 확산 모델을 사용하여 신경망 매개변수를 구성했으며 LeCun은 이를 좋아했습니다.

확산 모델이 새로운 주요 응용 프로그램을 선보였습니다.

Sora가 비디오를 생성하는 것처럼 신경망에 대한 매개변수를 생성하고 AI의 최하위 계층에 직접 침투합니다!

싱가포르 국립대학교 유양 교수팀과 UCB, Meta AI Laboratory 등의 기관이 공동으로 진행한 최신 오픈소스 연구 결과입니다.

구체적으로 연구팀은 신경망 매개변수 생성을 위한 확산 모델 p(arameter)-diff를 제안했습니다.

이를 사용하여 네트워크 매개변수를 생성하면 직접 훈련보다 속도가 최대 44배 빠르며 성능도 뒤떨어지지 않습니다.

모델이 공개된 후 AI 커뮤니티에서 금세 뜨거운 논의를 불러일으켰습니다. 서클의 전문가들은 소라를 보고 일반 사람들과 똑같은 놀라운 태도를 보였습니다.

어떤 사람들은 이것이 기본적으로 AI가 새로운 AI를 만드는 것과 같다고 직접적으로 외치기도 했습니다.

AI 거물 르쿤도 이를 보고 정말 귀여운 아이디어라며 칭찬을 아끼지 않았습니다.

실제로 p-diff는 Sora와 동일한 의미를 갖습니다. 동일한 실험실의 Dr. Fuzhao Xue(Xue Fuzhao)는 다음과 같이 자세히 설명했습니다.

Sora는 고차원 데이터, 즉 비디오를 생성합니다. Sora를 월드 시뮬레이터로 만듭니다(1차원에서 AGI에 접근).

그리고 이 작업인 신경망 확산은 모델에서 매개변수를 생성할 수 있으며, 또 다른 새로운 중요한 차원에서 AGI를 향해 나아가는 메타-세계적 수준의 학습기/최적화가 될 가능성이 있습니다.

주제로 돌아가서, p-diff는 어떻게 신경망 매개변수를 생성합니까?

오토인코더와 확산 모델 결합

이 문제를 이해하려면 먼저 확산 모델과 신경망의 작동 특성을 이해해야 합니다.

확산 생성 프로세스는 무작위 분포에서 복합 노이즈 추가를 통해 시각적 정보를 단순 노이즈 분포로 변환하는 것입니다.

신경망 훈련도 이 변환 과정을 따르며 잡음을 추가하여 성능이 저하될 수도 있습니다. 연구원들은 이 기능에서 영감을 받아 p-diff 방법을 제안했습니다.

구조적 관점에서 p-diff는 표준 잠재 확산 모델을 기반으로 연구팀에 의해 설계되었으며 오토인코더와 결합되었습니다.

연구원은 먼저 네트워크 매개변수 중 잘 훈련되고 수행된 부분을 선택하고 이를 1차원 벡터 형태로 확장합니다.

그런 다음 자동 인코더를 사용하여 1차원 벡터에서 잠재 표현을 확산 모델에 대한 훈련 데이터로 추출합니다. 이렇게 하면 원래 매개변수의 주요 특징을 포착할 수 있습니다.

학습 과정에서 연구원들은 p-diff가 순방향 및 역방향 프로세스를 통해 매개변수 분포를 학습하도록 했습니다. 완료 후 확산 모델은 시각적 정보를 생성하는 프로세스와 마찬가지로 무작위 노이즈로부터 이러한 잠재적 표현을 합성합니다.

마지막으로 새로 생성된 잠재 표현은 인코더에 해당하는 디코더에 의해 네트워크 매개변수로 복원되어 새로운 모델을 구축하는 데 사용됩니다.

아래 그림은 p-diff를 통해 3개의 무작위 시드를 사용하여 처음부터 학습된 ResNet-18 모델의 매개변수 분포로, 서로 다른 레이어 간의 분포 패턴과 동일한 레이어의 서로 다른 매개변수 간의 분포 패턴을 보여줍니다.

p-diff로 생성된 매개변수의 품질을 평가하기 위해 연구원들은 각각 두 가지 크기의 3가지 유형의 신경망을 사용하여 8개 데이터 세트에서 이를 테스트했습니다.

아래 표에서 각 그룹의 세 숫자는 원본 모델, 통합 모델, p-diff로 생성된 모델의 평가 결과를 나타냅니다.

결과에서 볼 수 있듯이, p-diff로 생성된 모델의 성능은 기본적으로 수동으로 학습한 원래 모델에 가깝거나 훨씬 더 좋습니다.

효율성 측면에서 p-diff는 정확도를 잃지 않으면서 기존 교육보다 15배 빠르게 ResNet-18 네트워크를 생성하고 Vit-Base를 44배 빠르게 생성합니다.

추가 테스트 결과는 p-diff로 생성된 모델이 훈련 데이터와 크게 다르다는 것을 증명합니다.

아래 그림 (a)에서 볼 수 있듯이 p-diff로 생성된 모델 간의 유사도는 원래 모델 간의 유사도보다 낮고, p-diff와 원래 모델 간의 유사도도 낮습니다.

(b)와 (c)에서 볼 수 있듯이 미세 조정 및 노이즈 추가 방법에 비해 p-diff의 유사성도 낮습니다.

이러한 결과는 p-diff가 단순히 훈련 샘플을 기억하는 것이 아니라 실제로 새로운 모델을 생성한다는 것을 보여줍니다. 또한 일반화 능력이 좋고 훈련 데이터와 다른 새로운 모델을 생성할 수 있음을 보여줍니다.

현재 p-diff의 코드는 오픈소스로 공개되어 있으니 관심이 있으시면 GitHub에서 확인하실 수 있습니다.

논문 주소: https://arxiv.org/abs/2402.13144

GitHub: https://github.com/NUS-HPC-AI-Lab/Neural-Network-Diffusion

위 내용은 AI의 최하위층에 침입하세요! NUS Youyang 팀은 확산 모델을 사용하여 신경망 매개변수를 구성했으며 LeCun은 이를 좋아했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!