200억 매개변수 대형 모델의 단일 머신 훈련: Cerebras가 신기록을 경신했습니다.

이번 주에 칩 스타트업 Cerebras는 단일 컴퓨팅 장치에서 100억 개 이상의 매개변수를 사용하여 NLP(자연어 처리) 인공 지능 모델을 훈련시키는 새로운 이정표를 발표했습니다.

Cerebras가 훈련한 AI 모델 볼륨은 여러 가속기에 걸쳐 워크로드를 확장하지 않고도 전례 없는 200억 개의 매개변수에 도달합니다. 이 작업은 인터넷에서 가장 인기 있는 텍스트-이미지 AI 생성 모델인 OpenAI의 120억 매개변수 대형 모델 DALL-E를 만족시키기에 충분합니다.

Cerebras 새 직업에서 가장 중요한 점은 인프라 및 소프트웨어 복잡성 요구 사항이 줄어든다는 것입니다. 이 회사에서 제공하는 칩인 WSE2(Wafer Scale Engine-2)는 이름에서 알 수 있듯이 TSMC의 7nm 공정의 단일 전체 웨이퍼에 에칭되어 있습니다. 이 영역은 일반적으로 수백 개의 주류 칩을 수용할 수 있을 만큼 넓습니다. 2.6조 개의 트랜지스터, 850,000개의 AI 컴퓨팅 코어 및 40GB 통합 캐시, 패키징 후 전력 소비량은 15kW에 달합니다.

Wafer Scale Engine-2는 웨이퍼 크기에 가깝고 아이패드보다 큽니다.

Cerebras의 단일 머신은 크기가 이미 슈퍼컴퓨터와 유사하지만 NLP 모델의 최대 200억 매개변수를 단일 칩에 유지하므로 수천 개의 GPU에 대한 교육 비용과 관련 하드웨어 및 확장 요구 사항이 크게 줄어듭니다. , 모델 간 분할의 기술적 어려움을 제거합니다. 후자는 "NLP 워크로드의 가장 고통스러운 측면 중 하나"이며 때로는 "완료하는 데 수개월이 걸린다"고 Cerebras는 말했습니다.

이것은 처리되는 각 신경망뿐만 아니라 각 GPU의 사양과 이를 연결하는 네트워크에도 고유한 맞춤형 문제입니다. 이러한 요소는 처음 학습되어야 합니다. 미리 설정합니다. 시작하기 전에 시스템 간에 이식할 수 없습니다.

Cerebras의 CS-2는 모든 관련 전력, 메모리 및 스토리지 하위 시스템과 함께 Wafer Scale Engine-2 칩을 포함하는 독립형 슈퍼컴퓨팅 클러스터입니다.

200억 개의 매개변수는 대략 어느 정도 수준인가요? 인공지능 분야에서는 최근 다양한 기술 기업과 기관에서 대규모 사전 학습 모델 개발에 힘쓰고 있는 방향이 OpenAI의 GPT-3이다. 무려 1,750억 개의 매개변수를 사용하여 인간 독자를 속입니다. 지난해 말 출시된 딥마인드의 고퍼(Gopher)는 매개변수 수를 2,800억 개로 기록적으로 늘렸다.

최근 Google Brain은 1조 개가 넘는 매개변수를 갖춘 모델인 Switch Transformer를 훈련했다고 발표하기도 했습니다.

"NLP 분야에서는 더 큰 모델이 더 나은 성능을 발휘하는 것으로 입증되었습니다. 그러나 전통적으로 소수의 회사만이 이러한 대형 모델의 분해를 완료하여 수백 개에 걸쳐 분산시킬 수 있는 리소스와 전문 지식을 보유하고 있습니다. 수천 개의 그래픽 처리 장치가 있습니다."라고 Cerebras의 CEO이자 공동 창립자인 Andrew Feldman은 말했습니다. "따라서 대규모 NLP 모델을 훈련할 수 있는 회사는 거의 없습니다. 이는 너무 비싸고 시간이 많이 걸리며 나머지 업계에서는 사용할 수 없습니다."

이제 Cerebras의 방법은 GPT-3XL을 1.3B로 줄일 수 있습니다. GPT-J 6B, GPT-3 13B 및 GPT-NeoX 20B 모델을 사용하면 전체 AI 생태계에서 몇 분 만에 대규모 모델을 구축하고 단일 CS-2 시스템에서 교육할 수 있습니다.

하지만 플래그십 CPU의 클럭 속도와 마찬가지로 매개 변수의 수는 대형 모델 성능을 나타내는 하나의 지표일 뿐입니다. 최근 일부 연구에서는 올해 4월 DeepMind가 제안한 Chinchilla와 같은 매개변수 감소를 전제로 더 나은 결과를 얻었습니다. 이는 매개변수가 700억 개에 불과한 기존 사례에서 GPT-3 및 Gopher를 능가했습니다.

이러한 유형의 연구의 목표는 물론 더 열심히 일하는 것이 아니라 더 똑똑하게 일하는 것입니다. 따라서 Cerebras의 성과는 사람들이 처음 보는 것보다 더 중요합니다. 이 연구는 현재의 칩 제조 수준이 점점 더 복잡해지는 모델에 적응할 수 있다는 확신을 주며, 회사는 특수 칩을 핵심으로 하는 시스템이 "지원 능력"을 가지고 있다고 말했습니다. 수천억, 심지어는 수조 개의 매개변수를 가진 모델이 많습니다.

단일 칩에서 훈련 가능한 매개변수 수가 폭발적으로 증가하는 것은 Cerebras의 Weight Streaming 기술에 달려 있습니다. 이 기술은 계산과 메모리 공간을 분리하여 AI 워크로드에서 빠르게 증가하는 매개변수 수에 따라 어떤 규모로든 메모리를 확장할 수 있도록 합니다. 이를 통해 설정 시간을 몇 개월에서 몇 분으로 줄이고 GPT-J 및 GPT-Neo와 같은 모델 간 전환이 가능합니다. 연구자들은 다음과 같이 말했습니다. "키를 몇 번만 누르면 됩니다."

"Cerebras는 사람들에게 저렴하고 편리한 방법으로 대규모 언어 모델을 실행할 수 있는 기능을 제공하여 흥미롭고 새로운 인공 지능 시대를 열었습니다. Intersect360 Research의 최고 연구 책임자인 Dan Olds는 "수천만 달러를 지출하여 대형 모델에서 경쟁할 수 없는 조직에 쉽고 저렴한 방법을 제공합니다."라고 말했습니다. "CS-2 고객이 대규모 데이터 세트에서 GPT-3 및 GPT-J 수준 모델을 훈련하면서 새로운 애플리케이션과 발견을 기대합니다."

위 내용은 200억 매개변수 대형 모델의 단일 머신 훈련: Cerebras가 신기록을 경신했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!