모듈형 MoE는 시각적 다중 작업 학습의 기본 모델이 될 것입니다.

다중 작업 학습(MTL)에는 여러 작업 간의 변화도가 모순될 수 있기 때문에 많은 어려움이 있습니다. 작업 간의 상관관계를 활용하기 위해 저자는 여러 전문가로 구성된 모듈식 모델인 Mod-Squad 모델을 소개합니다. 모델은 작업과 전문가의 매칭을 유연하게 최적화하고 작업에 대한 일부 전문가를 선택할 수 있습니다. 이 모델은 각 전문가가 업무의 일부에만 대응하고, 각 업무는 전문가의 일부에만 대응함으로써 업무 간 긍정적인 연결의 활용을 극대화합니다. Mod-Squad는 MoE(Mixture of Experts) 레이어를 Vision Transformer 모델에 통합하고 전문가와 작업 간의 드물지만 강력한 종속성을 장려하는 새로운 손실 기능을 도입합니다. 또한 각 작업에 대해 모델은 전문가 네트워크의 작은 부분만 보유할 수 있으며 원래 대규모 모델과 동일한 성능을 달성할 수 있습니다. 이 모델은 Taskonomy 빅 데이터 세트와 13가지 비전 작업의 PASCALContext 데이터 세트에서 최상의 결과를 달성합니다.

논문 주소: https://arxiv.org/abs/2212.08066

프로젝트 주소: https://vis-www.cs.umass.edu/mod-squad/

Github 주소: https://github.com/UMass-Foundation-Model/Mod-Squad

다중 작업 학습(MTL)의 목적은 작업 간의 관계를 모델링하고 제공하는 것입니다. 여러 작업을 위한 통합 모델을 구축하세요. 그림 1에서 볼 수 있듯이 Mod-Squad의 주된 동기는 모든 작업이 아닌 일부 작업에 대해서만 전문가가 업데이트되도록 하고, 각 작업별로 일부 전문가만 업데이트되도록 하는 것입니다. 이를 통해 작업 간의 간섭을 피하면서 모델의 전체 용량을 활용할 수 있습니다.

그림 1. Mod-Squad: 전문가와 작업이 서로를 선택합니다. MoE ViT: 모든 전문가는 모든 작업에 사용됩니다.

다음은 기사에 대한 간략한 소개입니다.

모델 구조

그림 2. Mod-Squad: Vision Transformer에 전문가 믹스를 삽입합니다.

그림 2와 같이 Mod-Squad의 구조는 다음과 같습니다. ViT(Vision Transformer)에 전문가 혼합(MoE)을 도입합니다. MoE는 여러 전문가가 하이브리드 모델을 구성하는 기계 학습 모델입니다. 각 전문가는 독립적인 모델이며, 각 모델은 다양한 입력에 다르게 기여합니다. 마지막으로 모든 전문가의 기여에 가중치를 부여하고 결합하여 최종 결과물을 얻습니다. 이 접근 방식의 장점은 입력 이미지의 내용을 기반으로 최고의 전문가를 동적으로 선택하고 계산 노력을 제어할 수 있다는 것입니다.

이전 MoE 모델이 수렴된 후 그림에 따라 다양한 전문가를 사용할 수 있지만 특정 작업의 경우 모든 전문가를 사용하는 경향으로 모델이 수렴됩니다. Mod-Squad를 사용하면 모델이 이미지에 대해 서로 다른 전문가를 활용할 수 있으며, 융합 후에는 모델이 전문가 중 일부만 작업에 사용되는 상태에 도달할 수 있습니다. 다음으로 이것이 어떻게 달성되는지 소개하겠습니다.

전문가와 작업 간의 상호 정보 극대화

본 논문에서는 전문가 E와 작업 T 간의 할당을 최적화하기 위해 작업과 전문가의 공동 확률 모델을 제안합니다. 이 확률 모델은 전문가와 업무 간 상호 정보를 계산하는 데 사용되며, MoE에서 가중치 네트워크를 최적화하기 위한 추가 손실 함수 역할을 합니다. 상호 정보의 공식은 다음과 같습니다. E와 T의 확률은 MoE의 가중치 네트워크에서 얻을 수 있습니다.

모델은 작업과 전문가 간의 상호 정보를 최대화한 후 그림 3과 같이 전문가와 작업이 희박하고 매우 강한 종속성을 갖도록 허용할 수 있습니다. 가장 왼쪽에 있는 것은 Mod-Squad 작업 사용 전문가 빈도입니다. 보시다시피 Mod-Squad는 임무와 전문가 사이에 빈도가 적지만 더 날카로운 빈도를 가지고 있습니다.

그림 3. 다양한 전문가를 활용한 작업의 빈도 플롯 비교. 가로축은 다양한 전문가를 나타내고, 세로축은 다양한 업무를 나타내며, 색상이 어두울수록 사용 빈도가 높다는 것을 나타냅니다. Mod-Squad의 주파수 플롯은 더 희박하고 선명합니다.

이 작업과 전문가 사이의 의존성이 매우 적다는 장점은 다음과 같습니다.

1 유사한 작업은 동일한 전문가를 사용하는 경향이 있습니다.

2. 긍정적인 관련 작업 사용;

3. 모델의 용량은 모두 사용되지만 각 작업은 용량의 일부만 사용하며 작업에 따라 용량이 조정될 수 있습니다. 다중 작업 대형 모델에서 특정 작업에 사용 단일 작업 소형 모델을 추출하고 대형 모델과 동일한 성능을 갖습니다. 이 기능은 다중 작업 모델에서 작은 단일 작업 모델을 추출하는 데 사용할 수 있습니다.

모델은 작업 간 전문가 공유 빈도에 따라 아래 그림과 같이 작업 간 유사성도 계산할 수 있습니다. 3D 편향 작업은 동일한 전문가를 사용하는 경향이 있으므로 더 유사하다는 것을 알 수 있습니다.

실험부분

Mod-Squad는 정확도를 잃지 않고 단일 작업을 잘라낼 수 있습니다. 아래 그림의 세로축은 성능이고 가로축은 매개변수 양입니다.

대용량 데이터 세트 Taskonomy에서도 Mod-Squad가 순수 MTL보다 평균 2.8포인트 더 높고, 가지치기 후에도 동일한 성능을 유지하는 것을 볼 수 있습니다.

PASCAL-Context의 다른 방법과 비교할 때 Mod-Squad는 다른 MoE 방법보다 평균적으로 거의 2점 더 높습니다.

구체적인 내용은 원문을 참고해주세요.

위 내용은 모듈형 MoE는 시각적 다중 작업 학습의 기본 모델이 될 것입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!