빌딩블록 딥러닝을 플레이하는 올바른 방법! 싱가포르 국립대학교, 지식 전달을 이동식 인쇄로 전환하는 새로운 전이 학습 패러다임인 DeRy 출시

980년 전 북송 인종 청력 시대, 중국에서는 지식 혁명이 조용히 일어나고 있었습니다.

이 모든 일의 원인은 사원에 사는 현자의 말이 아니라 규칙적인 비문이 새겨진 점토 벽돌이 하나씩 구워졌습니다.

이 혁명은 바로 "이동식 인쇄"입니다.

활자 인쇄의 미묘함은 "빌딩 블록 조립"이라는 아이디어에 있습니다. 장인은 먼저 단일 문자의 반전 문자 몰드를 만든 다음 원고와 브러시에 따라 단일 문자를 선택합니다. 이 캐릭터 몰드는 필요에 따라 여러 번 사용할 수 있습니다.

조각 및 인쇄의 "하나의 인쇄, 하나의 버전"이라는 번거로운 프로세스에 비해 주문형 모듈식 조립-다용도 작업 모드는 인쇄 작업 효율성을 기하학적으로 향상시키고 밀레니엄은 미래 인류 문명의 발전과 계승을 위한 초석을 마련했습니다.

딥 러닝 분야로 돌아가서, 사전 훈련된 대형 모델이 인기를 얻고 있는 오늘날, 일련의 대형 모델의 기능을 특정 다운스트림 작업으로 어떻게 전달하는가가 중요한 문제가 되었습니다.

이전의 지식 이전 또는 재사용 방법은 "블록 인쇄"와 유사합니다. 작업 요구 사항에 따라 새로운 완전한 모델을 훈련해야 하는 경우가 많습니다. 이러한 방법에는 막대한 교육 비용이 수반되는 경우가 많으며 많은 수의 작업으로 확장하기가 어렵습니다.

그래서 아주 자연스러운 아이디어가 떠올랐습니다. 신경망을 빌딩 블록의 집합으로 간주하고 기존 네트워크를 재조립하여 새로운 네트워크를 얻고 이를 전이 학습에 사용할 수 있을까요? ​

​

NeurIPS 2022에서 싱가포르 국립대학교 LVlab 팀은 "Deep Model Reassemble"이라는 새로운 전이 학습 패러다임을 제안했습니다.

문서 링크: https://arxiv.org/abs/2210.17409

코드 링크: https://github.com/Adamdad/DeRy

페이지 : https://adamdad.github.io/dery/

OpenReview: https://openreview.net/forum?id=gtCPWaY5bNh

저자는 먼저 기존의 사전 훈련된 모델을 다음과 같이 나눴습니다. 유사한 기능으로 서브 네트워크로 분해한 후 서브 네트워크를 재조립하여 특정 작업에 효율적이고 사용하기 쉬운 모델을 구축합니다.

이 논문은 NeurIPS에서 886점으로 승인되었으며 논문상 후보로 추천되었습니다.

이 기사에서 저자는 일반 모델 재사용을 위한 DeRy(심층 모델 재조립)라는 새로운 지식 이전 작업을 살펴봅니다.

다양한 데이터와 이기종 아키텍처에 대해 훈련된 사전 훈련된 모델 세트가 있는 경우 심층 모델 재구성은 먼저 각 모델을 독립적인 모델 덩어리로 분할한 다음 하위 모델 조각을 선택적으로 재조립합니다.

이 방법은 심층 신경망 모델을 빌딩 블록으로 처리하는 것과 유사합니다. 즉, 기존의 큰 빌딩 블록을 작은 빌딩 블록으로 분해한 다음 필요에 따라 부품을 조립합니다. 조립된 새 모델은 더 강력한 성능을 가져야 할 뿐만 아니라 효율성을 보장하기 위해 조립 프로세스에서 원래 모듈의 구조와 매개변수를 최대한 변경해서는 안 됩니다.

심층 모델 분리 및 재구성

이 문서의 방법은 두 부분으로 나눌 수 있습니다. DeRy는 먼저 세트 커버 문제를 해결하고 사전 훈련된 모든 네트워크를 기능 수준에 따라 분할합니다. 두 번째 단계에서 DeRy는 모델 조립을 0-1 정수 프로그래밍 문제로 공식화하여 조립된 모델이 특정 작업에서 최고의 성능을 발휘하는지 확인합니다.

심층 모델 재조립

먼저 저자는 심층 모델 재조립의 문제를 정의합니다. 훈련된 심층 모델이 주어지면 이를 모델 라이브러리라고 합니다.

각 모델은 로 표현되는 레이어 링크로 구성됩니다. 모델이 계층별로 연결되어 있는 한, 다양한 네트워크는 완전히 다른 구조와 작동을 가질 수 있습니다.

주어진 작업에서 우리는 최고의 성능을 가진 레이어 혼합 모델을 찾고자 하며 모델의 계산량이 특정 제한 사항을 충족합니다.

이 문제는 이득을 최대화하기 위해 모든 모델 레이어의 모든 순열을 검색해야 합니다. 본질적으로 이 작업에는 매우 복잡한 조합 최적화가 포함됩니다.

검색 비용을 단순화하기 위해 이 기사에서는 먼저 모델 라이브러리 모델을 깊이 방향에서 분할하여 더 얕고 작은 하위 네트워크를 형성한 다음 하위 네트워크 수준에서 접합 검색을 수행합니다.

기능 수준에 따라 네트워크 분할

DeRy의 첫 번째 단계는 딥러닝 모델을 빌딩 블록처럼 분해하는 것입니다. 저자는 심층 모델을 더 얕은 작은 모델로 분할하기 위해 심층 네트워크 분할 방법을 채택했습니다. 기사에서는 분해된 하위 모델이 최대한 다른 기능을 갖기를 바랍니다. 이 과정은 빌딩 블록을 분해하여 장난감 상자에 카테고리별로 넣는 과정에 비유할 수 있습니다.

비슷한 빌딩 블록을 모으고, 다른 빌딩 블록을 분해합니다.

예를 들어 모델을 하위 레이어와 상위 레이어로 분할하고 하위 레이어는 주로 곡선이나 모양과 같은 로컬 패턴을 식별하는 역할을 담당하고 상위 레이어는 전체 의미를 판단할 수 있다고 예상합니다. 견본.

일반 특성 유사성 측정 지수를 이용하면 모든 모델의 기능적 유사성을 정량적으로 측정할 수 있습니다.

핵심 아이디어는 유사한 입력에 대해 동일한 기능을 가진 신경망이 유사한 출력을 생성할 수 있다는 것입니다.

두 네트워크의 합에 해당하는 입력 텐서 X 및 X'의 경우 기능적 유사성은 다음과 같이 정의됩니다.

그러면 모델 라이브러리는 기능적 유사성을 통해 기능적 동등성 집합으로 나눌 수 있습니다.

각 등가 집합의 하위 네트워크는 기능적 유사성이 높으며, 각 모델의 분할로 인해 모델 라이브러리의 분리성이 보장됩니다.

이런 방식으로 해체하는 핵심 이점은 기능적 유사성으로 인해 각 등가 집합의 하위 네트워크가 대략 상호 교환 가능한 것으로 간주될 수 있다는 것입니다. 즉, 하나의 네트워크 블록을 다른 하위 네트워크로 대체할 수 있다는 것입니다. 네트워크 예측에 영향을 주지 않고 동일한 등가 집합을 만듭니다.

위의 분할 문제는 3단계 제약 최적화 문제로 공식화될 수 있습니다.

이 문제의 내부 수준 최적화는 일반 커버링 세트 문제 또는 그래프 분할 문제와 더 큰 관계가 있습니다. . 유사성. 따라서 저자는 내부 계층을 최적화하기 위해 경험적 Kernighan-Lin(KL) 알고리즘을 사용합니다.

일반적인 아이디어는 무작위로 초기화된 두 개의 하위 모델에 대해 하나의 작업 계층이 매번 교환된다는 것입니다. 교환이 평가 기능의 가치를 높일 수 있으면 교환은 유지됩니다.

여기서 외부 루프는 K-Means 클러스터링 알고리즘을 채택합니다.

각 네트워크 분할에 대해 각 하위 네트워크는 항상 중심 거리가 가장 큰 기능 세트에 할당됩니다. 내부 루프와 외부 루프는 반복적이고 수렴이 보장되므로 위의 문제를 해결하면 기능 수준에 따른 최적의 하위 네트워크 분할을 얻을 수 있습니다.

정수 최적화 기반 네트워크 어셈블리

네트워크 분할은 각 네트워크를 하위 네트워크로 나누고 각 하위 네트워크는 등가 집합에 속합니다. 이는 다운스트림 작업에 대한 최적의 네트워크 접합을 찾기 위한 검색 공간으로 사용될 수 있습니다.

하위 모델의 다양성으로 인해 이 네트워크 어셈블리는 큰 검색 공간이 있는 조합 최적화 문제이며 특정 검색 조건이 정의됩니다. 각 네트워크 조합은 동일한 기능 세트에서 네트워크 블록을 가져옵니다. , 원래 네트워크의 위치에 따라 배치된 합성 네트워크는 계산 한계를 충족해야 합니다. 이 프로세스는 0-1 정수 최적화 문제의 최적화로 설명됩니다.

결합된 모델 성능의 각 계산에 대한 교육 오버헤드를 더욱 줄이기 위해 저자는 교육이 필요하지 않은 NASWOT라는 NAS 교육의 대체 기능을 활용합니다. 이를 통해 특정 데이터 세트에 대한 네트워크 추론을 사용하여 네트워크의 실제 성능을 간단히 추정할 수 있습니다.

위의 분할-재조합 과정을 통해 사전 학습된 다양한 모델을 접합하고 융합하여 새롭고 강력한 모델을 얻을 수 있습니다.

실험 결과

모델 재구성은 전이 학습에 적합합니다

저자는 사전 훈련된 30개의 서로 다른 네트워크가 포함된 모델 라이브러리를 조심스럽게 분해하고 재구성하고 ImageNet 및 기타 9개 다운스트림 분류 작업에 대한 성능 평가를 수행했습니다.

실험에는 두 가지 학습 방법이 사용되었습니다. Full-Tuning은 접합 후 모델의 모든 매개변수가 학습된다는 의미이고, Freeze-Tuning은 접합 후 연결 레이어만 학습된다는 의미입니다. .

이외에 DeRy(, ,)라는 5개의 축소 모형을 선택하여 비교했습니다.

위 그림에서 볼 수 있듯이 ImageNet 데이터 세트에서 DeRy로 얻은 다양한 규모의 모델은 모델 라이브러리에 있는 비슷한 크기의 모델보다 낫거나 같을 수 있습니다.

링크 부분의 매개변수만 학습하더라도 모델은 여전히 ​​강력한 성능 향상을 얻을 수 있음을 확인할 수 있습니다. 예를 들어 DeRy(4,90,20) 모델은 127만 개의 매개변수만 훈련하여 78.6%의 Top1 정확도를 달성했습니다.

동시에 9번의 전이학습 실험에서도 DeRy의 효과가 검증되었습니다. 사전 훈련 없이도 DeRy의 모델은 다양한 모델 크기와 비교하여 다른 모델보다 성능이 뛰어날 수 있으며, 재조립된 모델을 지속적으로 사전 훈련하면 모델 성능이 크게 향상될 수 있습니다.

LEEP이나 LogME와 같은 모델 라이브러리의 다른 전이 학습 방법과 비교할 때 DeRy는 모델 라이브러리 자체의 성능 한계를 뛰어넘을 수 있으며 원본 모델 라이브러리의 최고 모델보다 더 뛰어납니다.

모델 재구성의 성격 탐구

저자는 "모델이 어떤 패턴에 따라 분할될 것인가?" 등 이 글에서 제안하는 모델 재구성의 성격도 궁금합니다. ", "모델은 어떤 패턴에 따라 분할되나요?", 재구성할 규칙은 무엇인가요? 저자는 분석을 위한 실험을 제공합니다.

기능적 유사성, 재조합 위치 및 재조합 성능​

저자는 동일한 네트워크 블록을 기능적 유사성이 다른 다른 네트워크 블록으로 교체한 후 Freeze-Tuning 20세대를 탐색했습니다. ​

ImageNet에서 훈련된 ResNet50의 경우 3, 4단계의 네트워크 블록을 ResNet101, ResNeXt50 및 RegNetY8G의 다른 네트워크 블록으로 교체합니다.

교체 위치가 성능에 큰 영향을 미치는 것을 볼 수 있습니다.

예를 들어, 3단계가 다른 네트워크의 3단계로 교체되면 재구성된 네트워크의 성능이 특히 강해질 것입니다. 동시에 기능적 유사성도 재조합 성능과 긍정적으로 일치합니다.

동일한 깊이의 네트워크 모델 블록은 유사성이 더 높기 때문에 훈련 후 모델 기능이 더 강력해집니다. 이는 유사성 - 재조합 위치 - 재조합 성능 사이의 의존성과 긍정적인 관계를 나타냅니다.

분할 결과 관찰

아래 그림에서 저자는 쪼개짐의 첫 번째 단계의 결과를 그립니다. 색상은 노래의 등가 집합 중앙에 있는 네트워크 블록과 네트워크 블록 간의 유사성을 나타냅니다.

본 글에서 제안한 분할은 하위 네트워크를 깊이에 따라 함께 묶고 분할하는 경향이 있음을 알 수 있습니다. 동시에 CNN과 Transformer 사이의 기능적 유사성 데이터는 작지만, 서로 다른 아키텍처의 CNN과 CNN 사이의 기능적 유사성은 일반적으로 더 큽니다.

NASWOT을 성능 지표로 사용

이 기사에서는 처음으로 제로 트레이닝 전이 예측에 NASWOT을 적용했기 때문에 저자는 이 지표의 신뢰성도 테스트했습니다.

아래 그림에서 저자는 다양한 데이터 세트에서 다양한 모델의 NASWOT 점수를 계산하고 이를 전이 학습의 정확한 정확도 플러스 1과 비교합니다.

NASWOT 점수가 성과 순위(Kendall's Tau 상관 관계)가 더 정확한 것을 확인할 수 있습니다. 이는 이 기사에서 사용된 훈련 지수 0이 다운스트림 데이터에 대한 모델 성능을 효과적으로 예측할 수 있음을 보여줍니다.

Summary

본 논문에서는 DeRy(Deep Model Reassemble)라는 새로운 지식 전달 작업을 제안합니다. 그는 기존의 이기종 사전 훈련 모델을 분해하고 재조립하여 다운스트림 작업에 적합한 모델을 구성합니다.

저자는 이 작업을 수행하기 위해 간단한 2단계 구현을 제안합니다. 첫째, DeRy는 커버 세트 문제를 해결하고 사전 훈련된 모든 네트워크를 기능 수준에 따라 분할합니다. 두 번째 단계에서 DeRy는 특정 작업에 대한 조립된 모델의 성능을 보장하기 위해 모델 어셈블리를 0-1 정수 프로그래밍 문제로 공식화합니다. 최적.

이 작업은 강력한 성능 향상을 달성했을 뿐만 아니라 서로 다른 신경망 간의 가능한 연결성을 매핑했습니다.

위 내용은 빌딩블록 딥러닝을 플레이하는 올바른 방법! 싱가포르 국립대학교, 지식 전달을 이동식 인쇄로 전환하는 새로운 전이 학습 패러다임인 DeRy 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!