PRO | MoE 기반의 대형 모델이 더 주목받는 이유는 무엇인가요?

2023년에는 AI의 거의 모든 분야가 전례 없는 속도로 진화하고 있습니다. 동시에 AI는 구현 지능, 자율 주행 등 핵심 트랙의 기술적 한계를 지속적으로 확장하고 있습니다. 멀티모달 추세 하에서 Transformer는 대형 AI 모델의 주류 아키텍처로 흔들릴까요? MoE(Mixture of Experts) 아키텍처를 기반으로 한 대형 모델 탐색이 업계에서 새로운 트렌드가 된 이유는 무엇입니까? LVM(Large Vision Model)이 일반 시력 분야에서 새로운 돌파구가 될 수 있을까요? ...지난 6개월 동안 공개된 본 사이트의 2023 PRO 회원 뉴스레터에서 위 분야의 기술 동향과 산업 변화에 대한 심층 분석을 제공하는 10가지 특별 해석을 선택하여 새로운 환경에서 귀하의 목표를 달성하는 데 도움을 드립니다. 년. 준비하세요. 이 해석은 2023 Week50 업계 뉴스레터 ?

특별 해석 MoE 기반의 대형 모델이 더 주목받는 이유는 무엇인가요?

날짜: 12월 12일

이벤트: Mistral AI는 MoE(Mixture-of-Experts, Expert Mixture) 아키텍처를 기반으로 하는 Mixtral 8x7B 모델을 오픈소스화했으며 성능은 Llama 2 70B 및 GPT-3.5" 이벤트 수준에 도달했습니다.

먼저 MoE가 무엇인지, 그 내용을 알아보겠습니다

1. 개념:

MoE(Mixture of Experts)는 여러 하위 모델(예: 전문가)로 구성된 하이브리드 모델입니다. , 각 하위 모델 입력 공간의 하위 집합을 전문적으로 처리하는 로컬 모델입니다. MoE의 핵심 아이디어는 게이팅 네트워크를 사용하여 각 데이터별로 어떤 모델을 학습해야 하는지 결정하여 간의 간섭을 완화하는 것입니다.

2. 주요 구성 요소:

혼합 전문가 모델 기술(MoE)은 전문가 모델과 게이트 모델로 구성된 스파스 게이트로 제어되는 딥 러닝 기술입니다. 각 모델은 자신이 가장 잘하는 작업에 집중하여 모델의 희소성을 달성합니다.

① Gated 네트워크의 교육에서는 각 샘플이 한 명 이상의 전문가에게 할당됩니다. ;
② 전문가 네트워크의 교육에서는 각 전문가가 할당된 샘플의 오류를 최소화하도록 교육됩니다.

3 MoE의 "전임자"는 Ensemble Learning입니다. . 앙상블 학습은 동일한 문제를 해결하기 위해 여러 모델(기본 학습자)을 훈련하고 단순히 예측(예: 투표 또는 평균화)을 결합하는 프로세스입니다. 앙상블 학습의 주요 목표는 과적합을 줄이고 일반화 능력을 향상시켜 예측 성능을 향상시키는 것입니다. 일반적인 앙상블 학습 방법에는 Bagged, Boosting 및 Stacking이 있습니다.

4. MoE 역사적 출처:

① MoE의 뿌리는 1991년 논문 "Adaptive Mixture of Local Experts"로 거슬러 올라갑니다. 이 아이디어는 입력 공간의 서로 다른 영역을 전문으로 하는 각 개별 네트워크 또는 전문가와 함께 서로 다른 하위 네트워크로 구성된 시스템에 대한 감독 프로세스를 제공하는 것을 목표로 한다는 점에서 앙상블 접근 방식과 유사합니다. 각 전문가의 가중치는 게이트 네트워크를 통해 결정됩니다. 교육 과정에서 전문가와 게이트키퍼 모두 교육을 받습니다.

② 2010년부터 2015년 사이에 두 가지 다른 연구 영역이 MoE의 추가 개발에 기여했습니다.

하나는 구성 요소로서의 전문가입니다. 전통적인 MoE 설정에서 전체 시스템은 게이트 네트워크와 여러 전문가로 구성됩니다. 전체 모델로서의 MoE는 지원 벡터 머신, 가우스 프로세스 및 기타 방법에서 탐색되었습니다. "전문가의 심층 혼합에서 학습 요소 표현"이라는 작업은 더 깊은 네트워크의 구성 요소로서 MoE의 가능성을 탐구합니다. 이를 통해 모델은 동시에 크고 효율적이 될 수 있습니다.

다른 하나는 조건부 계산입니다. 기존 네트워크는 각 레이어를 통해 모든 입력 데이터를 처리합니다. 이 기간 동안 Yoshua Bengio는 입력 토큰을 기반으로 구성 요소를 동적으로 활성화하거나 비활성화하는 방법을 조사했습니다.

3 결과적으로 사람들은 자연어 처리의 맥락에서 전문적인 혼합 모델을 탐색하기 시작했습니다. "Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer"라는 논문에서는 희소성을 도입하여 137B LSTM으로 확장하여 대규모에서 빠른 추론을 달성했습니다.

국토부 기반 대형 모델이 주목받는 이유는 무엇인가요?

1. 일반적으로 모델 규모의 확장은 학습 비용의 상당한 증가로 이어질 것이며, 컴퓨팅 리소스의 한계는 대규모 집중 모델 학습에 병목 현상이 되었습니다. 이 문제를 해결하기 위해 희소 MoE 레이어 기반의 딥러닝 모델 아키텍처가 제안됩니다.

2. MoE(Sparse Mixed Expert Model)는 추론 비용을 늘리지 않고 LLM(대형 언어 모델)에 학습 가능한 매개변수를 추가할 수 있는 특수 신경망 아키텍처이며, 명령 조정(Instruction Tuning)은 LLM이 지침을 따르도록 훈련시키는 기술입니다. .

3. MoE+ 교육 미세 조정 기술의 결합은 언어 모델의 성능을 크게 향상시킬 수 있습니다. 2023년 7월, Google, UC Berkeley, MIT 및 기타 기관의 연구자들은 "Mixture-of-Experts Meets Instruction Tuning: A Winning Combination for Large Language Models"라는 논문을 발표하여 하이브리드 전문가 모델(MoE)과 명령어 튜닝이 입증되었습니다. 이러한 조합을 통해 LLM(대형 언어 모델)의 성능이 크게 향상될 수 있습니다.

① 구체적으로 연구원들은 명령이 미세 조정된 희소 하이브리드 전문가 모델 FLAN-MOE 세트에서 희소 활성화 MoE를 사용하고, 더 나은 모델 용량과 컴퓨팅 성능을 제공하기 위해 Transformer 계층의 피드포워드 구성 요소를 MoE 계층으로 대체했습니다. 둘째, FLAN 집단 데이터 세트를 기반으로 FLAN-MOE를 미세 조정합니다.

② 위의 방법을 바탕으로 연구원들은 명령어 튜닝 없이 단일 다운스트림 작업에 대한 직접 미세 조정, 명령어 튜닝 후 다운스트림 작업에 대한 In-Context Few-Shot 또는 Zero-Shot 일반화를 연구했으며, 명령어 튜닝에서는 단일 다운스트림 작업을 추가로 미세 조정하고 세 가지 실험 설정에서 LLM의 성능 차이를 비교합니다.

3 실험 결과에 따르면 명령 조정을 사용하지 않으면 MoE 모델이 유사한 계산 능력을 갖춘 밀도 모델보다 성능이 떨어지는 경우가 많습니다. 그러나 지시적 튜닝과 결합하면 상황이 달라집니다. 명령어 조정 MoE 모델(Flan-MoE)은 MoE 모델이 밀도 모델에 비해 계산 비용이 1/3에 불과하더라도 여러 작업에서 더 큰 밀도 모델보다 성능이 뛰어납니다. 밀도가 높은 모델과 비교. MoE 모델은 명령 조정을 통해 더욱 중요한 성능 향상을 얻습니다. 따라서 컴퓨팅 효율성과 성능을 고려할 때 MoE는 대규모 언어 모델 훈련을 위한 강력한 도구가 될 것입니다.

4. 이번에 출시된 Mixtral 8x7B 모델도 Sparse Mixed Expert Network를 사용합니다.

① Mixtral 8x7B는 디코더 전용 모델입니다. 피드포워드 모듈은 8개의 서로 다른 매개변수 세트 중에서 선택합니다. 네트워크의 각 계층에서 각 토큰에 대해 라우터 네트워크는 8개 그룹(전문가) 중 2개를 선택하여 토큰을 처리하고 해당 출력을 집계합니다.

② Mixtral 8x7B 모델은 추론 속도가 6배 더 빠르며 대부분의 벤치마크에서 Llama 2 70B 및 GPT3.5와 일치하거나 그보다 성능이 뛰어납니다.

MoE의 중요한 장점: 희소성이란 무엇인가요?

1. 기존의 밀집 모델에서는 각 입력을 전체 모델에서 계산해야 합니다. 희소 혼합 전문가 모델에서는 입력 데이터를 처리할 때 소수의 전문가 모델만 활성화되어 사용되는 반면, 대부분의 전문가 모델은 비활성 상태입니다. 그리고 희소성은 혼합 전문가의 중요한 측면입니다. 모델의 장점은 모델 훈련 및 추론 프로세스의 효율성을 높이는 열쇠이기도 합니다

.

위 내용은 PRO | MoE 기반의 대형 모델이 더 주목받는 이유는 무엇인가요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!