130억 개의 매개변수, 8개의 A100 트레이닝, UC 버클리, 대화 모델 코알라 출시

Meta가 LLaMA 시리즈 모델을 출시하고 오픈소스화한 이후 Stanford University, UC Berkeley 및 기타 기관의 연구자들은 LLaMA를 기반으로 한 "두 번째 생성"을 수행했으며 Alpaca, Vicuna 등 여러 "alpaca" 모델을 연달아 출시했습니다. . 모델.

Alpaca는 오픈 소스 커뮤니티의 새로운 최고 플레이어가 되었습니다. '2차 창조물'이 풍부하기 때문에 생물학적 알파카속을 가리키는 영어 단어는 거의 사용되지 않지만, 다른 동물의 이름을 따서 대형 모델에 이름을 붙이는 것도 가능하다.

최근 UC Berkeley의 Berkeley Artificial Intelligence Institute(BAIR)에서는 소비자급 GPU에서 실행할 수 있는 대화 모델 Koala(문자 그대로 Koala로 번역됨)를 출시했습니다. Koala는 웹에서 수집한 대화 데이터를 사용하여 LLaMA 모델을 미세 조정합니다.

프로젝트 주소: https://bair.berkeley.edu/blog/2023/04/03/koala/

Koala가 온라인 테스트 데모를 시작했습니다:

• 데모 주소: https://chat.lmsys.org/?model=koala-13b
• 오픈 소스 주소: https://github.com/young-geng/EasyLM

Koala 개요

Vicuna와 마찬가지로 Koala는 웹에서 수집한 대화 데이터를 사용하여 LLaMA 모델을 미세 조정하며 ChatGPT와 같은 비공개 소스 대형 모델을 사용한 대화에 대한 공개 데이터에 중점을 둡니다.

연구팀은 Koala 모델이 JAX/Flax를 사용하여 EasyLM에서 구현되었으며 Koala 모델은 8개의 A100 GPU가 장착된 단일 Nvidia DGX 서버에서 훈련되었다고 밝혔습니다. 2개의 학습 에포크를 완료하는 데 6시간이 소요됩니다. 이러한 교육 비용은 일반적으로 공용 클라우드 컴퓨팅 플랫폼에서 100달러 미만입니다.

연구팀은 Koala를 ChatGPT 및 Stanford University의 Alpaca와 실험적으로 비교한 결과 다음과 같이 나타났습니다. 130억 개의 매개변수를 갖춘 Koala-13B는 다양한 사용자 쿼리에 효과적으로 응답할 수 있으며 생성된 응답은 일반적으로 Alpaca보다 우수하며 성능도 뛰어납니다. 절반 이상의 경우에서 ChatGPT와 유사합니다.

코알라의 가장 중요한 의미는 고품질의 데이터 세트로 훈련할 때 로컬에서 실행할 수 있을 만큼 작은 모델도 대형 모델과 유사한 우수한 성능을 얻을 수 있음을 보여준다는 것입니다. 이는 오픈 소스 커뮤니티가 고품질 데이터 세트를 선별하기 위해 더 열심히 노력해야 함을 의미합니다. 이는 단순히 기존 시스템의 크기를 늘리는 것보다 더 안전하고 현실적이며 강력한 모델로 이어질 수 있기 때문입니다. 이러한 관점에서 Koala는 ChatGPT에 대한 작지만 세련된 대안입니다.

그러나 코알라는 아직 연구용 프로토타입일 뿐이고 내용, 보안, 신뢰성에 큰 결함이 있어 연구 이외의 목적으로 사용해서는 안 됩니다.

데이터 세트 및 훈련

대화 모델 구축의 주요 장애물은 훈련 데이터를 관리하는 것입니다. ChatGPT, Bard, Bing Chat 및 Claude와 같은 대규모 대화 모델은 모두 광범위한 사람 주석이 포함된 독점 데이터 세트를 사용합니다. Koala의 훈련 데이터 세트를 구축하기 위해 연구팀은 ChatGPT와 같은 대규모 언어 모델을 사용하는 사용자가 공개적으로 공유하는 데이터가 포함된 웹 및 공개 데이터 세트에서 대화 데이터를 수집하고 선별했습니다.

데이터세트를 최대화하기 위해 최대한 많은 웹 데이터를 크롤링하는 다른 모델과 달리 Koala는 공개 데이터세트의 Q&A 섹션, 인간 피드백(긍정적 및 부정적), 기존 사용자와의 대화 등 소규모 고품질 데이터세트 수집에 중점을 둡니다. 언어 모델. 특히 Koala의 훈련 데이터 세트에는 다음 부분이 포함됩니다.

ChatGPT 증류 데이터:

• ChatGPT(ShareGPT)를 통해 공개적으로 사용 가능한 대화 데이터
• Human ChatGPT 비교 코퍼스(HC3); HC3 데이터 세트의 인간 및 ChatGPT 응답이 사용됩니다.

오픈 소스 데이터:

• OIG(Open Instruction Generalist);
• Stanford Alpaca 모델에서 사용되는 데이터 세트
• OpenAI WebGPT; .
• 실험 및 평가
• 본 연구에서는 Koala-Distill, Alpaca 및 ChatGPT와 Koala-All의 생성 결과를 비교하기 위해 수동 평가를 수행했습니다. 결과는 아래 그림과 같습니다. 그 중 두 개의 서로 다른 데이터 세트가 테스트에 사용되는데, 하나는 180개의 테스트 쿼리가 포함된 Stanford의 Alpaca 테스트 세트(Alpaca 테스트 세트)이고, 다른 하나는 Koala 테스트 세트입니다.

전반적으로 Koala 모델은 LLM의 많은 기능을 보여주기에 충분하면서도 제한된 컴퓨팅 리소스로 미세 조정 또는 사용이 용이할 만큼 작습니다. 연구팀은 Koala 모델이 대규모 언어 모델에 대한 향후 학술 연구에 유용한 플랫폼이 되기를 바라고 있습니다. 잠재적인 연구 적용 방향은 다음과 같습니다.

안전성 및 정렬: Koala는 언어 모델의 보안에 대한 추가 연구를 허용합니다. 인간의 의도에 더 잘 부합하고 일관성을 유지합니다.

모델 편향: Koala를 사용하면 대규모 언어 모델의 편향을 더 잘 이해하고 대화 데이터 세트의 품질 문제를 조사하며 궁극적으로 대규모 언어 모델의 성능을 향상시키는 데 도움이 됩니다.

• 대규모 언어 모델 이해: Koala 모델은 상대적으로 저렴한 소비자급 GPU에서 실행되고 다양한 작업을 수행할 수 있기 때문에 Koala를 사용하면 대화형 언어 모델의 내부 구조를 더 잘 검사하고 이해할 수 있어 언어 모델을 더 설명하기 쉽게 만들 수 있습니다.

위 내용은 130억 개의 매개변수, 8개의 A100 트레이닝, UC 버클리, 대화 모델 코알라 출시의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!