다중 경로, 다중 도메인, 모든 것을 포함합니다! Google AI, 다중 도메인 학습 일반 모델 MDL 출시

시각적 작업(예: 이미지 분류)을 위한 딥 러닝 모델은 일반적으로 단일 시각적 도메인(예: 자연 이미지 또는 컴퓨터 생성 이미지)의 데이터를 사용하여 엔드투엔드 학습됩니다.

일반적으로 여러 필드에 대한 시각적 작업을 완료하는 애플리케이션은 각 개별 필드에 대해 여러 모델을 구축하고 독립적으로 교육해야 합니다. 추론 중에는 각 모델 필드별 입력 데이터가 처리됩니다. .

다른 분야를 지향하더라도 이들 모델 간 초기 레이어의 일부 기능은 유사하므로 이러한 모델의 공동 학습이 더 효율적입니다. 이렇게 하면 대기 시간과 전력 소비가 줄어들고, 각 모델 매개변수를 저장하는 데 드는 메모리 비용이 줄어듭니다. 이러한 접근 방식을 다중 도메인 학습(MDL)이라고 합니다.

또한 MDL 모델은 단일 도메인 모델보다 더 나을 수 있습니다. 한 도메인의 추가 교육은 다른 도메인의 모델 성능을 향상시킬 수 있지만 이는 부정적인 결과를 가져올 수도 있습니다. 이는 훈련 방법과 특정 영역 조합에 따라 달라지는 지식 전달에 대한 효과입니다. MDL에 대한 이전 작업에서는 도메인 간 공동 학습 작업의 효율성이 입증되었지만 다른 작업에 적용할 때 비효율적인 수작업 모델 아키텍처가 포함됩니다.

논문 링크: https://arxiv.org/pdf/2010.04904.pdf

이 문제를 해결하기 위해 "Multi-path Neural Networks for On-device Multi" -domain "Visual Classification" 기사에서 Google 연구원은 일반적인 MDL 모델을 제안했습니다.

기사에서는 이 모델이 효과적으로 높은 정확도를 달성하고, 부정적인 지식 전달을 줄이고, 긍정적인 지식 전달을 강화하는 방법을 학습하고, 다양한 특정 분야의 어려움을 처리할 때 공동 모델을 효과적으로 최적화할 수 있다고 명시했습니다.

이를 위해 연구진은 여러 분야에 대한 이종 네트워크 아키텍처로 통합 모델을 구축하기 위한 다중 경로 신경 아키텍처 검색(MPNAS) 방법을 제안했습니다.

이 방법은 효율적인 신경 구조 검색(NAS) 방법을 단일 경로 검색에서 다중 경로 검색으로 확장하여 각 필드에 대한 최적 경로를 공동으로 찾는 방법입니다. ABDP(Adaptive Balanced Domain Prioritization)라는 새로운 손실 함수도 도입되었습니다. 이 기능은 도메인별 어려움에 적응하여 모델을 효율적으로 훈련하는 데 도움이 됩니다. 결과적으로 MPNAS 접근 방식은 효율적이고 확장 가능합니다.

성능 저하를 유지하면서 새 모델은 단일 도메인 방법에 비해 모델 크기와 FLOPS를 각각 78%와 32% 줄였습니다.

다중 경로 신경 구조 검색

긍정적 지식 전달을 촉진하고 부정적인 전달을 방지하기 위해 기존 솔루션은 각 도메인이 대부분의 레이어를 공유하고 각 도메인의 공유 기능을 학습하도록 MDL 모델을 구축하는 것입니다. (특징 추출이라고 함) 그런 다음 그 위에 일부 도메인별 레이어를 구축합니다. 그러나 이 특징 추출 방법은 특성이 크게 다른 도메인(예: 자연 이미지의 개체, 예술 그림의 개체)을 처리할 수 없습니다. 반면, 각 MDL 모델에 대해 통합된 이기종 구조를 구축하는 것은 시간이 많이 걸리고 도메인별 지식이 필요합니다.

다중 경로 신경 검색 아키텍처 프레임워크 NAS는 딥 러닝 아키텍처를 자동으로 설계하기 위한 강력한 패러다임입니다. 이는 최종 모델의 일부가 될 수 있는 다양한 잠재적 빌딩 블록으로 구성된 검색 공간을 정의합니다.

검색 알고리즘은 분류 정확도와 같은 모델 목표를 최적화하기 위해 검색 공간에서 가장 적합한 후보 아키텍처를 찾습니다. TuNAS와 같은 최근 NAS 방법은 엔드투엔드 경로 샘플링을 사용하여 검색 효율성을 향상시킵니다.

TuNAS에서 영감을 받은 MPNAS는 검색과 훈련의 두 단계로 MDL 모델 아키텍처를 구축합니다.

검색 단계에서 MPNAS는 각 도메인에 대한 최적 경로를 공동으로 찾기 위해 슈퍼 네트워크(즉, 검색에 의해 정의된 후보 노드 중)에서 시작하는 각 도메인에 대해 별도의 강화 학습(RL) 컨트롤러를 생성합니다. 공간) 가능한 모든 하위 네트워크의 상위 집합 내에서 엔드 투 엔드 경로(입력 레이어에서 출력 레이어까지)를 샘플링합니다.

여러 반복을 통해 모든 RL 컨트롤러는 모든 영역에서 RL 보상을 최적화하기 위해 경로를 업데이트합니다. 검색 단계가 끝나면 각 도메인에 대한 하위 네트워크를 얻습니다. 마지막으로, 아래 그림과 같이 모든 하위 네트워크가 결합되어 MDL 모델에 대한 이기종 구조를 만듭니다.

각 도메인의 하위 네트워크가 독립적으로 검색되므로 각 레이어의 구성 요소는 여러 도메인(예: 어두운 회색 노드)에서 공유되고 단일 도메인(예: 밝은 회색)에서 사용할 수 있습니다. 노드)이거나 어떤 하위 네트워크에서도 사용되지 않습니다(예: 포인트 노드).

각 도메인의 경로는 검색 프로세스 중에 모든 레이어를 건너뛸 수도 있습니다. 하위 네트워크가 성능을 최적화하는 방식으로 사용할 블록을 자유롭게 선택할 수 있다는 점을 고려하면 출력 네트워크는 이질적이고 효율적입니다.

다음 그림은 Visual Domain Decathlon의 두 영역에 대한 검색 아키텍처를 보여줍니다.

Visual Domain Decathlon은 CVPR 2017의 PASCAL in Detail Workshop Challenge의 일부로, 다양한 시각적 도메인을 처리(또는 활용)하는 시각적 인식 알고리즘의 능력을 테스트합니다. 볼 수 있듯이 관련성이 높은 두 도메인(하나는 빨간색, 다른 하나는 녹색)의 하위 네트워크는 겹치는 경로에서 대부분의 빌딩 블록을 공유하지만 여전히 차이점이 있습니다.

그림의 빨간색과 녹색 경로는 각각 ImageNet과 Describable Textures의 하위 네트워크를 나타내고, 진한 분홍색 노드는 여러 도메인에서 공유되는 블록을 나타내고, 밝은 분홍색 노드는 각 경로에서 사용되는 블록을 나타냅니다. 다이어그램의 "dwb" 블록은 dwbottleneck 블록을 나타냅니다. 그림의 Zero 블록은 서브넷이 블록을 건너뛰었음을 나타냅니다 아래 그림은 위에서 언급한 두 영역의 경로 유사성을 보여줍니다. 유사성은 각 도메인의 서브넷 간 Jaccard 유사성 점수로 측정되며, 높을수록 경로가 더 유사함을 의미합니다.

그림은 10개 도메인의 경로 간 Jaccard 유사성 점수의 혼동 행렬을 보여줍니다. 점수 범위는 0에서 1까지입니다. 점수가 클수록 두 경로가 공유하는 노드가 더 많아집니다.

이기종 다중 도메인 모델 학습

두 번째 단계에서는 MPNAS에서 생성된 모델이 모든 도메인에 대해 처음부터 학습됩니다. 이를 위해서는 모든 영역에 대해 통일된 목적함수를 정의해야 합니다. 다양한 도메인을 성공적으로 처리하기 위해 연구원들은 ABDP(Adaptive Balanced Domain Prioritization)라고 불리는 도메인 간 손실의 균형을 맞추기 위해 학습 프로세스 전반에 걸쳐 조정하는 알고리즘을 설계했습니다. 아래에는 다양한 설정에서 훈련된 모델의 정확도, 모델 크기 및 FLOPS가 나와 있습니다. MPNAS를 다른 세 가지 방법과 비교합니다.

도메인 독립적 NAS: 모델은 각 도메인에 대해 별도로 검색되고 훈련됩니다.

단일 경로 다중 헤드: 사전 훈련된 모델을 각 도메인에 대해 별도의 분류 헤드가 있는 모든 도메인에 대한 공유 백본으로 사용합니다.

멀티 헤드 NAS: 각 도메인에 대해 별도의 분류 헤드를 사용하여 모든 도메인에 대한 통합 백본 아키텍처를 검색합니다.

결과에서 NAS는 각 도메인에 대한 모델 세트를 구축해야 하므로 대규모 모델이 생성된다는 것을 알 수 있습니다. 단일 경로 다중 헤드 및 다중 헤드 NAS는 모델 크기와 FLOPS를 크게 줄일 수 있지만 도메인이 동일한 백본을 공유하도록 강제하면 부정적인 지식 전송이 발생하여 전반적인 정확도가 떨어집니다.

반면 MPNAS는 전체적으로 높은 정확도를 유지하면서 작고 효율적인 모델을 구축할 수 있습니다. MPNAS의 평균 정확도는 모델이 적극적인 지식 전달을 달성할 수 있기 때문에 도메인 독립적 NAS 방법보다 1.9% 더 높습니다. 아래 그림은 이러한 방법의 도메인당 상위 1개 정확도를 비교합니다.

평가에 따르면 검색 및 훈련 단계의 일부로 ABDP를 사용하면 상위 1위 정확도가 69.96%에서 71.78%(증가: +1.81%)로 향상됩니다.

‍Future Directions

MPNAS는 데이터 불균형, 도메인 다양성, 부정적인 마이그레이션, 도메인 확장성 및 MDL에서 가능한 매개변수 공유 전략을 위한 대규모 검색 공간을 해결하기 위해 이기종 네트워크를 구축하기 위한 효과적인 솔루션입니다. MobileNet과 유사한 검색 공간을 사용하여 생성된 모델도 모바일 친화적입니다. 기존 검색 알고리즘과 호환되지 않는 작업에 대해 연구자들은 다중 작업 학습을 위해 MPNAS를 계속 확장하고 있으며 MPNAS를 사용하여 통합 다중 도메인 모델을 구축하기를 희망합니다.

위 내용은 다중 경로, 다중 도메인, 모든 것을 포함합니다! Google AI, 다중 도메인 학습 일반 모델 MDL 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!