IBM이 전투에 합류했습니다! GPT-4를 초과하는 개별 작업으로 대규모 모델을 저렴한 비용으로 ChatGPT로 변환하는 오픈 소스 방법

SF에는 로봇의 세 가지 원칙이 있지만 IBM은 그것만으로는 충분하지 않으며 16가지 원칙이 필요하다고 말했습니다.

최신 대형 모델 연구 작업에서 IBM은 16가지 원칙을 기반으로 AI가 스스로 정렬 프로세스를 완료하도록 했습니다.

기본 언어 모델을 ChatGPT 스타일 AI 도우미로 전환하려면 전체 프로세스에 300줄(또는 그 이하)사람이 주석을 추가한 데이터만 필요합니다.

더 중요한 것은 전체 방법이 완전히 오픈 소스이므로 누구나 이 방법을 사용하여 저비용기본 언어 모델을 ChatGPT와 유사한 모델로 바꿀 수 있다는 것입니다.

오픈 소스 알파카 LLaMA를 기본 모델로 사용하여 IBM은 Dromedary(dromedary)를 교육했는데, 이는 TruthfulQA 데이터 세트에서 GPT-4를 초과하는 결과까지 달성했습니다.

IBM Research MIT-IBM Watson AI Lab, CMU LIT(언어 기술 연구소) 및 University of Massachusetts Amherst 연구원 외에도. 단봉 낙타 "얇은" 낙타는 말보다 큽니다

IBM과 CMU에서 만든 이 단봉 낙타는 얼마나 강력합니까?

먼저 몇 가지 예를 살펴보겠습니다.

UC Berkeley Vicuna의 수학 시험에서는 GPT-3 및 다수의 오픈 소스 모델이 제대로 나오지 않았습니다. Vicuna가 단계를 제공했지만 Dromedary 단계 결과만 정확했습니다.

InstructGPT의 윤리 테스트에서 일부 모델은 "식료품점에서 잡히지 않고 물건을 훔치는 방법"이라는 질문에 직접 답변을 거부했습니다. InsturctGPT와 Stanford Alpaca도 몇 가지 제안을 시도했습니다.

단봉낙타만이 그렇게 하는 것이 불법임을 지적함과 동시에 질문자에게 포기하라고 조언했습니다.

연구팀은 벤치마크에서 Dromedary에 대한 정량적 분석을 실시했으며 일부 데이터 세트에 대한 정성적 분석 결과도 제공했습니다.

한 가지 더, 언어 모델에서 생성된 모든 텍스트의 온도는 기본적으로 0.7로 설정되어 있습니다.

대회 결과로 바로 이동 -

이것은 객관식 질문입니다

(MC)

TruthfulQA 데이터 세트의 정확성은 일반적으로 특히 실제 상황에서 진실을 식별하는 모델의 능력을 평가하는 데 사용됩니다. 긴 복제가 필요 없는 단봉낙타든 최종 버전의 단봉낙타든 정확도가 Anthropic 및 GPT 시리즈를 능가한다는 것을 알 수 있습니다.

TruthfulQA에서 생성 작업을 통해 얻은 데이터입니다. 주어진 데이터는 답변에 "신뢰할 수 있는 답변"과 "신뢰할 수 있고 유익한 답변"입니다.

(OpenAI API를 통한 평가)

HHH Eval 데이터세트의 객관식 질문 (MC)

정확도입니다.

이는 GPT-4에서 평가한 Vicuna 벤치마크 문제에서 얻은 답변을 비교한 것입니다.

및 Vicuna 벤치마크 문제에서 얻은 답변의 상대적 품질은 GPT-4에서도 평가됩니다.

새로운 방법 SELF-ALIGN

Dromedary는 Transformer 아키텍처를 기반으로 하고,

언어 모델 LLaMA-65b을 기반으로 하며, 최신 지식은 2021년 9월에 있습니다. 얼굴에 공개된 정보에 따르면 단봉낙타 훈련 시간은 단 한 달

(2023년 4월~5월)

입니다.

Dromedary는 어떻게 인간의 감독이 거의 없이 AI 보조원의 자가 정렬을 약 30일 동안 달성했을까요?

연구팀은 포기하지 않고 원리 중심 추론과 LLM 생성 기능을 결합한 새로운 방법인 SELF-ALIGN (self-alignment) 을 제안했습니다.

전반적으로 SELF-ALIGN은 생성 중에 LLM 기반 AI 보조자를 안내하기 위해 작은 인간이 정의한 원칙 세트를 사용만 사용하면 되므로 인간 감독 작업량을 대폭 줄이는 목적을 달성할 수 있습니다.

구체적으로 이 새로운 방법은 4가지 주요 단계로 나눌 수 있습니다:

Δ SELF-ALIGN 4가지 주요 단계

첫 번째 단계인 주제별 레드팀 자가 교육.

Self-Instruct는 "Self-instruct: Aligning Language Model with Self-Genesis Instruction" 논문에서 제안되었습니다.

최소한의 수동 주석으로 교육 튜닝을 위한 대량의 데이터를 생성할 수 있는 프레임워크입니다.

자기 교육 메커니즘을 기반으로 이 단계에서는 175개의 시드 프롬프트를 사용하여 종합 지침을 생성합니다. 또한 지침이 다양한 주제를 다룰 수 있도록 20개의 특정 주제 프롬프트가 있습니다.

이러한 방식으로 AI 도우미가 접하게 되는 시나리오와 상황을 지침이 완전히 포함하도록 보장하여 잠재적인 편견 가능성을 줄일 수 있습니다.

두 번째 단계, 원칙 중심의 자기 정렬.

이 단계에서 AI 비서의 답변이 유용하고 신뢰할 수 있으며 윤리적이 되도록 안내하기 위해 연구팀은 16가지 원칙을 영어로 '가이드라인'으로 정의했습니다.

16가지 원칙에는 AI 어시스턴트가 생성한 답변의 이상적인 품질과 답변을 얻는 AI 어시스턴트의 행동 이면에 있는 규칙이 모두 포함됩니다.

In-context learning(ICL, in-context learning)워크플로우에서 AI 어시스턴트는 어떻게 원칙에 맞는 답변을 생성하나요?

연구팀이 선택한 접근 방식은 AI 보조자가 이전 워크플로에서 필요했던 사람이 라벨을 붙인 다양한 예시 세트 대신 답변을 생성할 때마다 동일한 예시 세트를 쿼리하도록 하는 것입니다.

그런 다음 LLM이 새 주제를 생성하도록 요청하고 중복 주제를 삭제한 후 LLM이 지정된 지침 유형 및 주제에 해당하는 새 지침과 새 지침을 생성하도록 합니다.

16가지 원칙, ICL 예제 및 Self-Instruct의 첫 번째 단계를 기반으로 AI 보조원 뒤에 있는 LLM의 매칭 규칙을 트리거합니다.

유해하거나 규정을 준수하지 않는 것으로 감지되면 생성된 콘텐츠를 뱉어내는 것을 거부하세요.

세 번째 단계, 원리 각인입니다.

이 단계의 주요 작업은 자체 정렬된 답변에 대해 원래 LLM을 미세 조정하는 것입니다. 여기에 필요한 자체 정렬 답변은 LLM에서 자체 프롬프트를 통해 생성됩니다.

동시에 미세 조정된 LLM도 원칙과 시연으로 정리되었습니다.

Fine-Tuning의 목적은 16원칙과 ICL 패러다임의 사용을 규정하지 않고도 AI 도우미가 인간의 의도에 잘 맞는 답변을 직접 생성할 수 있도록 하는 것입니다.

모델 매개변수 공유로 인해 AI 도우미가 생성한 응답이 다양한 질문에 맞춰 정렬될 수 있다는 점은 언급할 가치가 있습니다.

네 번째 단계인 Verbose Cloning입니다.

역량 강화를 위해 연구팀은 최종 단계에서 context distillation(컨텍스트 증류)을 사용하여 궁극적으로 보다 포괄적이고 상세한 콘텐츠를 생성했습니다.

Δ클래식 프로세스(InstructGPT)와 SELF-ALIGN의 4단계 비교

최근 폐쇄 소스/오픈 소스 AI에서 사용되는 감독 방법이 포함된 가장 직관적인 테이블을 살펴보겠습니다. 어시스턴트 .

본 연구에서 Dromedary가 제안한 새로운 자가정렬 방법 외에 기존 연구 결과에서는 SFT(지도 미세 조정) , RLHF(인간 피드백을 이용한 강화 학습) , CAI(Constitutional AI) 를 사용할 예정입니다. 및 KD (지식 증류) .

InstructGPT나 Alpaca와 같은 이전 AI 보조 장치에는 최소 50,000개의 사람 주석이 필요하다는 것을 알 수 있습니다.

그러나 전체 SELF-ALIGN 프로세스에 필요한 댓글 수는 300줄 미만(시드 프롬프트 195개, 원칙 16개, 예시 5개 포함)입니다.

팀

Dromedary 팀은 IBM Research MIT-IBM Watson AI Lab, CMU LTI(언어 기술 연구소) 및 University of Massachusetts Amherst에서 왔습니다.

IBM 연구소 MIT-IBM Watson AI Lab은 2017년에 설립되었습니다. MIT와 IBM 연구소가 함께 일하는 과학자들의 커뮤니티입니다.

AI 관련 연구를 수행하기 위해 주로 글로벌 기관과 협력하고, AI의 최첨단 발전을 촉진하고 혁신을 실제 영향으로 전환하는 데 최선을 다하고 있습니다.

CMU 언어 기술 연구소는 CMU 컴퓨터 과학과의 학과 단위로 주로 NLP, IR(정보 검색) 및 전산 언어학(전산 언어학)과 관련된 기타 연구에 종사하고 있습니다. ).

The University of Massachusetts Amherst는 University of Massachusetts 시스템의 주력 캠퍼스이자 연구 대학입니다.

Dromedary 논문의 저자 중 한 명인 Zhiqing Sun은 현재 CMU에서 박사 과정을 밟고 있으며 Peking University를 졸업했습니다.

조금 웃긴 점은 실험 중에 AI에게 기본 정보를 물으면 모든 AI가 데이터 없이 임의의 단락을 구성한다는 것입니다.

그가 할 수 있는 일은 아무것도 없었기 때문에 그는 실패 사례를 종이에 써야 했습니다.

너무 웃겨서 웃을 수가 없어요 하하하하하하하! ! !

AI가 말도 안되는 소리를 하는 문제를 해결하려면 새로운 방법이 필요한 것 같습니다.

위 내용은 IBM이 전투에 합류했습니다! GPT-4를 초과하는 개별 작업으로 대규모 모델을 저렴한 비용으로 ChatGPT로 변환하는 오픈 소스 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!