Llama3의 훈련 비용이 1/17에 불과한 Snowflake 오픈 소스 128x3B MoE 모델

Snowflake가 LLM 근접전에 합류했습니다.

Snowflake는 내부 엔터프라이즈 애플리케이션에 초점을 맞춘 높은 "엔터프라이즈 인텔리전스" 모델 Arctic을 출시합니다.

방금 데이터 관리 및 웨어하우스 제공업체인 Snowflake는 LLM 난투에 합류했으며 엔터프라이즈급 애플리케이션에 초점을 맞춘 최상위 LLM(대형 언어 모델)인 Snowflake Arctic을 출시했다고 발표했습니다.

클라우드 컴퓨팅 회사에서 출시한 LLM인 Arctic은 주로 다음과 같은 두 가지 장점을 가지고 있습니다.

• 효율적인 인텔리전스: Arctic은 SQL 생성, 프로그래밍 및 지침 따르기와 같은 엔터프라이즈 작업에서 잘 수행됩니다. , 더 높은 계산 비용으로 훈련된 오픈 소스 모델과도 비교할 수 있습니다. Arctic은 비용 효율적인 교육을 위한 새로운 기준을 설정하여 Snowflake 고객이 기업 요구 사항에 맞는 고품질 맞춤형 모델을 저렴한 비용으로 만들 수 있도록 지원합니다.
• 오픈 소스: Arctic은 Apache 2.0 라이선스를 채택하여 무게와 코드에 대한 공개 액세스를 제공하며 Snowflake는 모든 데이터 솔루션과 연구 결과도 오픈 소스로 제공합니다.

이제 Hugging Face에서 Arctic 모델에 액세스할 수 있습니다. Snowflake는 다음과 같이 말했습니다: 사용자는 곧 Snowflake Cortex, AWS, Microsoft Azure, NVIDIA API, Lamini, Perplexity, Replicate 및 Together 등을 포함한 다양한 모델 라이브러리를 통해 이를 얻을 수 있을 것입니다.

Hugging Face: https://huggingface.co/Snowflake/snowflake-arctic-instruct

Arctic의 컨텍스트 창은 4K로 설정되어 있으며, 연구팀은 주의 집중 감소 기반 슬라이딩 창을 개발 중입니다. 구현은 앞으로 몇 주 내에 무제한 시퀀스 생성을 지원할 예정이며 가까운 시일 내에 32K 관심 창으로 확장될 예정입니다.

고성능, 저비용

Snowflake 연구팀은 기업 고객의 AI 요구 사항 및 사용 사례에서 일관된 패턴을 확인했습니다. 기업은 LLM을 사용하여 대화형 SQL 데이터 부조종사, 코드를 구축하기를 원합니다. 부조종사 및 RAG 챗봇.

이는 LLM이 SQL, 코드, 복잡한 지침을 따르고 구체적인 응답을 생성하는 데 탁월해야 함을 의미합니다. Snowflake는 인코딩(HumanEval+ 및 MBPP+), SQL 생성(Spider) 및 명령 따르기(IFEval) 성능 수준을 평균화하여 이러한 기능을 "엔터프라이즈 인텔리전스"라는 단일 지표로 결합합니다.

Arctic은 오픈 소스 LLM에서 최고 수준의 "엔터프라이즈 인텔리전스"에 도달했으며 훈련 컴퓨팅 비용으로 약 200만 달러 미만(3,000 GPU 주 미만)으로 이를 수행합니다. 이는 Arctic이 유사한 계산 비용으로 훈련된 다른 오픈 소스 모델보다 더 뛰어난 성능을 발휘한다는 것을 의미합니다.

더 중요한 것은 Arctic은 훨씬 더 높은 계산 비용으로 훈련된 모델과 비교해도 엔터프라이즈 인텔리전스에서 탁월하다는 것입니다. Arctic의 높은 훈련 효율성은 Snowflake의 고객과 AI 커뮤니티 전체가 맞춤형 모델을 보다 비용 효율적으로 훈련할 수 있음을 의미합니다.

그림 1에서 볼 수 있듯이 Arctic은 엔터프라이즈 인텔리전스 지표에서 LLAMA 3 8B 및 LLAMA 2 70B와 동등하며 교육 계산 비용을 절반 미만으로 사용합니다. 그리고 Arctic은 컴퓨팅 비용을 1/17만 사용함에도 불구하고 인코딩(HumanEval+ 및 MBPP+), SQL(Spider), 명령어 추적(IFEval) 등의 지표에서 Llama3 70B와 동등합니다. 즉, Arctic은 전반적인 성능 경쟁력을 유지합니다. 이 일을 동시에 했습니다.

또한 Snowflake는 세계 지식, 상식 추론 및 수학적 능력을 포함하는 학문적 벤치마크에서도 Arctic을 평가했습니다. 전체 평가 결과는 아래 그림과 같습니다.

Training Efficiency

위의 훈련 효율성을 달성하기 위해 Arctic은 고유한 Dense-MoE 하이브리드 변환기 아키텍처를 사용합니다. 10B 밀도 변압기 모델과 128×3.66B 잔류 MoE MLP, 총 480B 매개변수 및 17B 활성 매개변수를 결합하고 선택을 위해 상위 2 게이팅을 사용합니다.

Arctic을 설계하고 훈련할 때 연구팀은 다음 세 가지 핵심 통찰력과 혁신을 사용했습니다.

MoE 전문가 및 압축 기술

DeepSpeed ​​​​팀은 2021년 말에 MoE를 자동 회귀 LLM에 적용하여 계산 비용을 늘리지 않고도 모델 품질을 크게 향상시킬 수 있음이 입증되었습니다. 연구팀은 Arctic을 설계할 때 이 아이디어를 바탕으로 모델 품질 향상이 주로 MoE 모델의 전문가 수와 전체 매개변수 수, 그리고 이러한 전문가의 조합 수에 달려 있다는 사실을 알아냈습니다.

이를 기반으로 Arctic은 128명의 세분화된 전문가에게 480B 매개변수를 배포하고 Top-2 게이팅을 사용하여 17B 활성 매개변수를 선택하도록 설계되었습니다.

아키텍처 및 시스템 공동 설계

강력한 AI 교육 하드웨어를 사용하여 다수의 전문가와 함께 기본 MoE 아키텍처를 교육하는 것은 전문가 간 완전히 연결된 통신의 오버헤드가 높기 때문에 매우 비효율적입니다. Snowflake는 통신이 계산과 겹칠 수 있다면 이러한 오버헤드를 제거할 수 있다는 사실을 발견했습니다.

따라서 Arctic은 조밀한 변환기와 잔류 MoE 구성 요소(그림 2)를 결합하여 통신을 통해 중첩을 계산함으로써 훈련 시스템이 우수한 훈련 효율성을 달성하고 대부분의 통신 오버헤드를 숨길 수 있도록 합니다.

엔터프라이즈 데이터 중심 커리큘럼 학습

코드 생성, SQL 등 엔터프라이즈급 메트릭에서 뛰어난 성능을 발휘하려면 일반 메트릭과는 전혀 다른 데이터 커리큘럼 학습(Curriculum Learning)이 필요합니다. 수백 번의 소규모 절제 실험을 통해 팀은 상식 추론과 같은 일반적인 기술을 초기 단계에서 학습할 수 있는 반면, 코딩, 수학, SQL과 같은 보다 복잡한 메트릭은 나중에 효과적으로 학습할 수 있다는 것을 배웠습니다. 훈련.

이는 단순한 것부터 어려운 것까지 점차적으로 능력을 습득하는 인간의 생명 교육에 비유할 수 있습니다. 따라서 Arctic은 각 단계마다 서로 다른 데이터 구성을 갖는 3단계 커리큘럼을 사용합니다. 첫 번째 단계는 일반 기술(1T 토큰)에 중점을 두고 마지막 두 단계는 기업 기술(1.5T 및 1T 토큰)에 중점을 둡니다.

추론 효율성

추론 효율성은 모델 효율성의 중요한 측면이기도 하며, 이는 모델이 실제로 저렴한 비용으로 배포될 수 있는지 여부에 영향을 미칩니다.

Arctic은 다른 오픈 소스 회귀 MoE 모델보다 더 많은 전문가와 전체 매개변수를 사용하여 MoE 모델 크기의 도약을 나타냅니다. 따라서 Snowflake에는 Arctic이 효율적으로 추론할 수 있도록 몇 가지 혁신적인 아이디어가 필요합니다.

a) 배치 크기 1과 같은 작은 배치 크기를 사용하는 대화형 추론에서는 MoE 모델의 추론 대기 시간이 모든 읽기로 제한됩니다. 활성 매개변수 시간, 추론은 메모리 대역폭에 의해 제한됩니다. 이 배치 크기에서 Arctic(17B 활성 매개변수)의 메모리 읽기 볼륨은 Code-Llama 70B의 1/4, Mixtral 8x22B(44B 활성 매개변수)의 2/5에 불과하므로 추론 속도가 더 빠릅니다.

b) 정방향 패스당 수천 개의 토큰과 같이 배치 크기가 크게 증가하면 Arctic은 제한된 메모리 대역폭에서 계산적으로 제한된 것으로 이동하며 추론은 ​​각 토큰의 활성 매개 변수에 의해 제한됩니다. 이와 관련하여 Arctic은 CodeLlama 70B 및 Llama 3 70B의 계산 노력의 1/4입니다.

Arctic의 적은 수의 활성 매개변수와 일치하는 컴퓨팅 바인딩 추론과 높은 처리량을 달성하려면 더 큰 배치 크기가 필요합니다. 이를 달성하려면 이를 지원할 수 있는 충분한 KV 캐시와 모델의 거의 500B 매개변수를 저장할 수 있는 충분한 메모리가 필요합니다.

어렵기는 하지만 Snowflake는 추론을 위해 두 개의 노드를 사용하고 FP8 가중치, 분할 퓨즈 및 연속 일괄 처리, 노드 내 텐서 병렬 처리, 노드 간 파이프라인 병렬 처리와 같은 시스템 최적화를 결합하여 이를 달성합니다.

연구팀은 NVIDIA와 긴밀히 협력하여 TensorRT-LLM이 구동하는 NVIDIA NIM 마이크로서비스에 대한 추론을 최적화했습니다. 동시에 연구팀은 vLLM 커뮤니티와도 협력하고 있으며 내부 개발 팀은 앞으로 몇 주 안에 기업 사용 사례에 대한 Arctic의 효율적인 추론을 구현할 것입니다.

^{참조 링크: https://www.snowflake.com/blog/arctic-open-efficient-foundation-언어-models-snowflake/}

위 내용은 Llama3의 훈련 비용이 1/17에 불과한 Snowflake 오픈 소스 128x3B MoE 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!