옵티마이저는 대규모 언어 모델 학습에서 많은 양의 메모리 리소스를 차지합니다.
이제 동일한 성능을 유지하면서 메모리 소비를 절반으로 줄이는 새로운 최적화 방법이 있습니다.
싱가포르국립대학교에서 작성한 이 결과는 ACL 학회에서 우수논문상을 수상하고 실제 적용되었습니다.
Pictures
대형 언어 모델의 매개변수 수가 증가함에 따라 훈련 중 메모리 소비 문제가 더욱 심각해집니다.
연구팀은 Adam과 동일한 성능을 가지면서도 메모리 소모를 줄이는 CAME 옵티마이저를 제안했습니다.
Pictures
CAME 최적화 프로그램은 일반적으로 사용되는 여러 대규모 언어 모델의 사전 훈련에서 Adam 최적화 프로그램과 동일하거나 훨씬 더 나은 교육 성능을 달성했으며 대규모 배치 사전 교육 시나리오에 더 큰 견고성을 보여줍니다. 섹스.
또한 CAME 최적화 프로그램을 통해 대규모 언어 모델을 교육하면 대규모 모델 교육 비용을 크게 줄일 수 있습니다.
구현 방법
CAME 옵티마이저는 Adafactor 옵티마이저를 기반으로 개선되었으며, 이는 대규모 언어 모델의 사전 학습 작업에서 종종 학습 성능의 손실을 초래합니다.
Adafactor의 음수가 아닌 행렬 인수분해 작업은 심층 신경망 훈련에서 필연적으로 오류를 생성하며 이러한 오류의 수정은 성능 손실의 원인이 됩니다.
그리고 비교를 통해 시작 값 mt과 현재 값 t의 차이가 작을수록 mt의 신뢰도가 더 높은 것으로 나타났습니다.
Picture
이 팀은 이에 영감을 받아 새로운 최적화 알고리즘을 제안했습니다.
아래 사진의 파란색 부분은 Adafactor에 비해 CAME가 늘어난 부분입니다.
Picture
CAME 최적화 프로그램은 모델 업데이트의 신뢰도를 기반으로 업데이트 양 수정을 수행하고, 도입된 신뢰 행렬에 대해 음이 아닌 행렬 분해 연산도 수행합니다.
결국 CAME는 Adafactor의 소비로 Adam의 효과를 얻는 데 성공했습니다.
동일한 효과는 리소스의 절반만 소비합니다.
팀은 CAME를 사용하여 BERT, GPT-2 및 T5 모델을 각각 훈련했습니다.
기존에 흔히 사용되는 Adam(더 나은 효과)과 Adafactor(낮은 소비)는 CAME 성능 측정을 위한 참고 자료입니다.
그 중 BERT를 훈련하는 과정에서 CAME는 단 절반의 단계만으로 Adafaactor와 동일한 정확도를 달성했습니다.
Δ왼쪽이 8K 스케일, 오른쪽이 32K 스케일
GPT-2의 경우 손실과 혼란의 관점에서 CAME의 성능은 Adam에 매우 가깝습니다.
T5 모델의 훈련에서도 CAME도 비슷한 결과를 보였습니다.
모델의 미세 조정에 있어서 CAME의 정확도 성능은 벤치마크보다 열등하지 않습니다.
리소스 소비 측면에서 PyTorch를 사용하여 4B 데이터 볼륨으로 BERT를 훈련할 때 CAME는 기준에 비해 거의 절반의 메모리 리소스를 소비합니다.
팀 프로필
싱가포르 국립대학교 HPC-AI 연구실은 양유 교수가 이끄는 고성능 컴퓨팅 및 인공지능 연구실입니다.
이 연구실은 고성능 컴퓨팅, 기계 학습 시스템 및 분산 병렬 컴퓨팅의 연구 및 혁신에 전념하고 있으며 대규모 언어 모델과 같은 분야의 응용을 촉진합니다.
연구실장 유양(You Yang)은 싱가포르 국립대학교 컴퓨터과학과의 총장 젊은 교수(대통령 젊은 교수)입니다.
You Yang은 2021년 Forbes Under 30 Elite List(아시아)에 선정되었으며 IEEE-CS 슈퍼컴퓨팅 우수 신인상을 수상했습니다. 그의 현재 연구 초점은 대규모 딥 러닝 훈련 알고리즘의 분산 최적화입니다.
이 기사의 첫 번째 저자인 Luo Yang은 연구실에서 석사 과정을 밟고 있습니다. 그의 현재 연구 초점은 대규모 모델 훈련의 안정성과 효율적인 훈련입니다.
논문 주소: https://arxiv.org/abs/2307.02047
GitHub 프로젝트 페이지: https://github.com/huawei-noah/Pretrained-Language-Model/tree/master/CAME
위 내용은 대형 모델 학습 비용이 거의 절반으로 줄었습니다! 싱가포르 국립대학교의 최신 옵티마이저가 사용되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

젬마 범위로 언어 모델의 내부 작업 탐색 AI 언어 모델의 복잡성을 이해하는 것은 중요한 도전입니다. 포괄적 인 툴킷 인 Gemma Scope의 Google 릴리스는 연구원에게 강력한 강력한 방법을 제공합니다.

비즈니스 성공 잠금 해제 : 비즈니스 인텔리전스 분석가가되는 가이드 원시 데이터를 조직의 성장을 이끌어내는 실행 가능한 통찰력으로 바꾸는 것을 상상해보십시오. 이것은 비즈니스 인텔리전스 (BI) 분석가의 힘 - GU에서 중요한 역할입니다.

SQL의 Alter Table 문 : 데이터베이스에 열을 동적으로 추가 데이터 관리에서 SQL의 적응성이 중요합니다. 데이터베이스 구조를 즉시 조정해야합니까? Alter Table 문은 솔루션입니다. 이 안내서는 Colu를 추가합니다

소개 두 전문가가 중요한 프로젝트에 대해 협력하는 번화 한 사무실을 상상해보십시오. 비즈니스 분석가는 회사의 목표, 개선 영역을 식별하며 시장 동향과의 전략적 조정을 보장합니다. 시무

Excel 데이터 계산 및 분석 : 카운트 및 카운트 기능에 대한 자세한 설명 정확한 데이터 계산 및 분석은 특히 큰 데이터 세트로 작업 할 때 Excel에서 중요합니다. Excel은이를 달성하기위한 다양한 기능을 제공하며, 카운트 및 카운타 기능은 다른 조건에서 셀 수를 계산하기위한 핵심 도구입니다. 두 기능 모두 셀을 계산하는 데 사용되지만 설계 목표는 다른 데이터 유형을 대상으로합니다. Count 및 Counta 기능의 특정 세부 사항을 파고 고유 한 기능과 차이점을 강조하고 데이터 분석에 적용하는 방법을 배우겠습니다. 핵심 포인트 개요 수를 이해하고 쿠션하십시오

Chrome 's AI Revolution : 개인화되고 효율적인 탐색 경험 인공 지능 (AI)은 우리의 일상 생활을 빠르게 변화시키고 있으며 Chrome은 웹 브라우징 경기장에서 요금을 주도하고 있습니다. 이 기사는 흥분을 탐구합니다

재구성 영향 : 4 배의 결론 너무 오랫동안 대화는 AI의 영향에 대한 좁은 견해로 인해 주로 이익의 결론에 중점을 두었습니다. 그러나보다 전체적인 접근 방식은 BU의 상호 연결성을 인식합니다.

상황이 그 시점을 꾸준히 움직이고 있습니다. 양자 서비스 제공 업체와 신생 기업에 쏟아지는 투자는 업계의 중요성을 이해하고 있음을 보여줍니다. 그리고 점점 더 많은 실제 사용 사례가 그 가치를 보여주기 위해 떠오르고 있습니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

PhpStorm 맥 버전
최신(2018.2.1) 전문 PHP 통합 개발 도구

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 영어 버전
권장 사항: Win 버전, 코드 프롬프트 지원!

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.
