신경망 슈퍼바디? 새로운 국립 LV 연구소, 새로운 네트워크 복제 기술 제안
- WBOY앞으로
- 2023-05-20 10:44:171041검색
영화에서 여주인공 루시의 두뇌 능력이 점차 발달하면서 그녀는 다음과 같은 능력을 얻게 됩니다.
- 10%: 신체의 자율신경계를 조절하여 신체 협응력과 반응 속도를 향상시킵니다.
- 30%: 미래를 예측하고 사람들의 행동을 예측하여 통찰력과 판단력을 향상시키는 능력입니다.
- 50%: 주변 환경의 작은 변화를 감지하여 미래의 변화를 예측할 수 있습니다.
- 70% : 신체와 물체의 움직임을 제어할 수 있으며, 뛰어난 움직임과 전투 능력을 발휘합니다.
- 90%: 영감과 직관의 힘으로 우주와 시간을 연결할 수 있습니다.
- 100%: 인간 인지의 한계를 뛰어넘는 초자연적인 힘을 얻을 수 있습니다.
영화의 마지막에 여주인공은 점차 사라지며 순수한 에너지의 형태로 변하고, 결국 우주 속으로 사라지며 우주와 시간과 하나가 된다. 인간 초체의 실현은 외부 세계와 연결되어 무한한 가치를 얻을 수 있는 능력이다. 이 아이디어를 신경망 도메인으로 마이그레이션하면 전체 네트워크와의 연결이 구축될 수 있다면 네트워크 슈퍼 바디도 실현할 수 있으며 이론적으로 무한한 예측 기능 을 얻을 수 있습니다.
즉, 물리적 네트워크는 필연적으로 네트워크 성능의 성장을 제한하게 됩니다. 대상 네트워크가 Model Zoo에 연결되면 네트워크는 더 이상 개체가 아니라 네트워크 간 연결을 설정하는 초체 형태를 갖게 됩니다.
사진: 슈퍼바디 네트워크와 엔터티 네트워크의 차이점. 초체 네트워크는 실체가 없으며 네트워크 간의 연결 형태입니다
네트워크 초체에 대한 아이디어는 CVPR 2023 논문을 공유하는 이 기사에서 탐구됩니다. "부분 네트워크 복제 ". 본 논문에서 싱가포르 국립대학교 LV lab은 새로운 네트워크 복제 기술을 제안합니다.
링크: https://arxiv.org/abs/2303.10597
01 문제 정의
이 기사에서 저자는 이 네트워크 복제 기술을 사용하여 네트워크 비물질화를 달성하면 다음과 같은 이점을 얻을 수 있다고 언급했습니다. 다음과 같은 장점이 있습니다.
- 약한 데이터 의존성: 일부 연결 모듈을 수정하는 데 부분 수정 데이터만 필요함
- 낮은 교육 복잡성: 일부 연결 모듈만 미세 조정하고 작업 예측 모듈만 필요함
- 낮은 저장 요구 사항: 네트워크의 연결된 경로만 저장하면 되며 전체 네트워크를 저장할 필요가 없습니다.
- 지속 가능 및 복구 가능: Model Zoo
- 에 대한 수정 없이 연결된 경로를 늘리거나 줄일 수 있습니다. 전송 친화적: 네트워크 전송 중에만 필요 연결 경로 정보 전송에는 전체 네트워크에 대한 전송이 필요하지 않습니다
슈퍼 바디 네트워크의 구현 기반은 빠르게 확장되는 Model Zoo이며 사전 훈련된 대규모 모델을 사용할 수 있습니다. 사용하기위한. 따라서 모든 작업 T에 대해 우리는 항상 하나 이상의 모델 을 찾을 수 있으므로 이러한 기존 모델을 사용한 작업은 필수 작업 으로 구성될 수 있습니다. 즉:
(연결을 위해 선택된 네트워크 3개).
위 그림과 같이 작업 T에 대해 해당 하이퍼바디 네트워크 M_c를 구축하기 위해 이 기사에서는 다음 구성 프레임워크를 제안합니다.
- 1단계: 온톨로지 네트워크 M_t의 작업 세트 T_t와 필요한 작업 세트 T의 교차점 T⋂T_t가 가장 크도록 가장 적합한 온톨로지 네트워크 M_t를 찾습니다. 이때 온톨로지 네트워크는 다음과 같이 설정됩니다.
- 2단계: 온톨로지 네트워크에서 누락된 작업 중 일부를 보완하기 위해 수정된 네트워크 M_s^1 및 M_s^2를 선택합니다.
- 3단계: 네트워크 복제 기술을 사용합니다. 수정된 네트워크 M_s^1 및 M_s^2의 일부를 찾아서 온톨로지 네트워크 M_t에 연결합니다.
- 4단계: 수정 데이터의 일부를 사용하여 네트워크의 연결 모듈과 예측 모듈을 미세 조정합니다.
요약하면, 본 논문에서 제안하는 네트워크 초체 구축에 필요한 네트워크 복제 기술은 다음과 같이 표현될 수 있다.
여기서 M_s는 수정된 네트워크 집합을 나타내므로 네트워크 초체의 연결된 형태 온톨로지 네트워크에 하나 이상의 수정 네트워크를 더한 네트워크 복제 기술은 수정 네트워크의 필요한 부분을 복제하여 온톨로지 네트워크에 삽입하는 기술입니다.
구체적으로 본 글에서 제안하는 네트워크 복제 프레임워크는 다음과 같은 두 가지 기술적 포인트를 포함한다.
P 보정 네트워크를 포함하는 복제의 경우 첫 번째 기술적 포인트는 핵심 부분 위치 지정 로컬(∙) . 수정 네트워크에는 작업 세트 T와 관련 없는 작업 정보가 포함될 수 있으므로 핵심 부분 위치 지정 로컬(∙)은 작업 T⋂T_s와 관련된 수정 네트워크에서 부분을 찾는 것을 목표로 합니다. M^ρ 구현 세부 사항은 섹션 1에 나와 있습니다. 하위 섹션 2.1에 나와 있습니다. 두 번째 기술 포인트는 삽입(∙)을 삽입하는 네트워크 모듈입니다. 모든 수정 네트워크를 삽입하려면 적절한 네트워크 삽입 지점 R^ρ를 선택해야 합니다. 구현 세부 사항은 섹션 2.2에 나와 있습니다.
02 방법 개요
네트워크 복제 방법 부분에서는 설명을 단순화하기 위해 수정 네트워크 수 P=1로 설정합니다(따라서 수정 네트워크의 위 첨자 ρ 생략). 즉, 온톨로지 네트워크를 연결하고 네트워크를 수정하여 원하는 슈퍼바디 네트워크를 구축합니다.
위에서 언급했듯이 네트워크 복제에는 핵심 부품 위치 지정 및 네트워크 모듈 내장이 포함됩니다. 여기서는 이해를 돕기 위해 중간 전송 가능 모듈 M_f를 소개합니다. 즉, 네트워크 복제 기술은 수정된 네트워크에서 핵심 부분을 찾아 전송 가능한 모듈 M_f를 형성한 후, 소프트 연결을 통해 전송 가능한 모듈을 온톨로지 네트워크 M_t에 삽입합니다. 따라서 네트워크 복제 기술의 목표는 전송 가능성과 로컬 충실도를 갖춘 전송 가능한 모듈을 찾아 내장하는 것입니다.
2.1 네트워크의 주요 부분 찾기
네트워크의 주요 부분을 찾는 목표는 선택 기능 M을 배우는 것입니다. 네트워크의 각 레이어에 대한 필터입니다. 이때 전송 가능한 모듈은 다음과 같이 표현될 수 있다.
위 수식에서 수정된 네트워크 M_s를 L 레이어로 표현하고, 각 레이어는 다음과 같이 표현된다. 알려진 마이그레이션 가능한 모듈을 추출해도 수정 네트워크가 수정되지 않습니다.
적절한 전송 가능한 모듈 M_f를 얻기 위해 최종 예측 결과에 가장 큰 기여를 하는 수정 네트워크 M_s의 명시적 부분을 찾습니다. 이에 앞서 신경망의 블랙박스 특성과 네트워크의 예측 결과 중 일부만 필요하다는 점을 고려하여 LIME을 사용하여 네트워크를 맞추고 수정하여 필요한 작업의 로컬 부분을 모델링했습니다(텍스트 참조). 자세한 내용은 논문 참조).
로컬 모델링 결과는 
로 표시됩니다. 여기서 D_t는 필요한 부분 예측 결과에 해당하는 교육 데이터 세트입니다(원본 네트워크의 교육 세트보다 작음).
따라서 선택 함수 M은 다음 목적 함수로 최적화될 수 있습니다.
이 방정식에서 위치 지정의 핵심 부분은 로컬로 모델링된 G에 맞춰집니다.
2.2 네트워크 모듈 임베딩
수정된 네트워크에서 전송 가능한 모듈 M_f를 찾을 때 선택 기능 M을 사용하여 가중치 수정 없이 M_s에서 직접 추출합니다. 다음 단계는 최고의 복제 성능을 얻기 위해 온톨로지 네트워크 M_t에서 마이그레이션 가능한 모듈 M_f를 어디에 삽입할지 결정하는 것입니다.
네트워크 모듈의 내장은 위치 매개변수 R에 의해 제어됩니다. 대부분의 모델 재사용 설정에 따라 네트워크 복제는 온톨로지 모델의 처음 몇 레이어를 일반 기능 추출기로 유지하고 네트워크 임베딩 프로세스는 최상의 임베딩 위치를 찾는 것으로 단순화됩니다(즉, R번째 레이어에 전송 가능한 모듈 M_f 임베딩). 임베딩을 찾는 과정은 다음과 같이 표현할 수 있습니다.
자세한 수식 설명은 텍스트를 참조하세요. 일반적으로 검색 기반 임베딩에는 다음 사항이 포함됩니다.
- 최적의 위치 매개변수 R을 찾는 과정은 네트워크의 깊은 계층에서 얕은 계층으로 진행됩니다. 볼륨 네트워크
- 후에 추가로 필요합니다. 내장된 위치에 어댑터 A를 도입하고 F_c 레이어(분류 네트워크용)를 다시 미세 조정하지만 두 매개변수 양은 전체 모델 동물원에 비해 무시할 수 있습니다.
레이어 L-1에서 연결을 설정한 후; 네트워크의 레이어 0에 대해서는 각 미세 조정의 손실 수렴 값을 기반으로 임베딩 성능을 대략적으로 추정하고 최소 수렴 값 지점을 최종 네트워크 임베딩 지점으로 선택합니다.
- 03 네트워크 복제 기술의 실제 적용
시나리오 1: 네트워크 복제 기술을 통해 온라인에서 Model Zoo를 사용할 수 있습니다. 리소스가 제한된 일부 상황에서 사용자는 사전 훈련된 네트워크를 로컬로 다운로드하지 않고도 온라인 Model Zoo를 유연하게 활용할 수 있습니다.
복제된 모델은 M_t 및 M_s가 프로세스 전반에 걸쳐 고정되고 변경되지 않는 위치에 따라 결정됩니다. 모델 복제는 사전 훈련된 모델을 수정하지 않으며 새 모델을 도입하지도 않습니다. 모델 복제는 Model Zoo의 모든 기능 조합을 가능하게 하며, 이는 M과 R을 사용하여 연결을 설정하는 것이 간단한 마스크 및 취소하기 쉬운 위치 지정 작업이기 때문에 Model Zoo의 좋은 생태 환경을 유지하는 데에도 도움이 됩니다. 따라서 제안된 네트워크 복제 기술은 지속 가능한 Model Zoo 온라인 추론 플랫폼의 구축을 지원합니다.
시나리오 2: 네트워크 복제를 통해 생성된 네트워크는 더 나은 정보 전송 모드를 갖습니다. 이 기술은 네트워크 전송 시 전송 지연 및 손실을 줄일 수 있습니다.
네트워크 전송을 수행할 때 컬렉션 
만 전송하면 됩니다. 공개 Model Zoo와 결합하면 수신기가 원래 네트워크를 복원할 수 있습니다. 복제된 전체 네트워크에 비해 
는 매우 작으므로 전송 지연 시간이 줄어듭니다. A와 F_c에 여전히 약간의 전송 손실이 있는 경우 수신기는 데이터 세트를 미세 조정하여 쉽게 수정할 수 있습니다. 따라서 네트워크 복제는 효율적인 전송을 위한 새로운 형태의 네트워크를 제공합니다.
04 실험 결과
분류 작업에 대한 실험적 검증을 진행했습니다. 전송 가능한 모듈의 로컬 성능 특성화 능력을 평가하기 위해 조건부 유사성 메트릭을 도입합니다.
여기서 Sim_cos (∙)는 코사인 유사성을 나타냅니다.
위 표는 MNIST, CIFAR-10, CIFAR-100 및 Tiny-ImageNet에 대한 실험 결과를 보여줍니다. 네트워크 복제(PNC)를 통해 얻은 모델의 성능 향상은 다음과 같습니다. 가장 중요합니다. 그리고 전체 네트워크(PNC-F)를 미세 조정하면 네트워크 성능이 향상되지 않고 오히려 모델의 편향이 증가합니다.
이 외에도 마이그레이션 가능한 모듈의 품질도 평가했습니다(위 그림 참조). 그림(왼쪽)에서 볼 수 있듯이 각 하위 데이터 세트에서 학습된 각 특징은 어느 정도 상관 관계가 있으며 이는 수정된 네트워크에서 로컬 특징을 추출하고 위치화하는 것이 중요함을 보여줍니다. 이전 가능한 모듈의 경우 유사성 심(∙)을 계산합니다. 그림(오른쪽)은 전송 가능한 모듈이 복제할 하위 데이터 세트와 유사성이 매우 높으며 나머지 하위 데이터 세트와의 관계가 약함을 보여줍니다(대각선을 벗어난 영역은 매트릭스 플롯보다 더 밝은 색상으로 표시됨). 소스 네트워크의). 따라서 전송 가능한 모듈이 복제할 작업 세트에 대한 로컬 성능을 성공적으로 시뮬레이션하여 현지화 전략의 정확성을 입증한다는 결론을 내릴 수 있습니다.
05 요약
이 논문에서는 수정된 네트워크에서 매개변수 모듈을 복제하고 이를 복사-붙여넣기 방식으로 온톨로지 네트워크에 삽입하는 부분 네트워크 복제(PNC)라는 새로운 지식 전달 작업을 연구합니다. 이전 지식 전달 설정(네트워크 매개변수 업데이트에 의존)과 달리 우리의 접근 방식은 사전 훈련된 모든 모델의 매개변수가 변경되지 않도록 보장합니다. PNC의 핵심 기술은 네트워크의 핵심 부분을 동시에 배치하고 이동식 모듈을 내장하는 것입니다. 두 단계는 서로를 강화합니다.
우리는 여러 데이터 세트의 정확성 및 전송 가능성 지표에 대한 접근 방식의 뛰어난 결과를 보여줍니다.
위 내용은 신경망 슈퍼바디? 새로운 국립 LV 연구소, 새로운 네트워크 복제 기술 제안의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!