집 >기술 주변기기 >일체 포함 >미적분학, 선 생성 등 52개 주제를 다루는 13948개의 질문이 중국 대형 모델용 테스트 세트를 만들기 위해 칭화대학교에 제출되었습니다.

미적분학, 선 생성 등 52개 주제를 다루는 13948개의 질문이 중국 대형 모델용 테스트 세트를 만들기 위해 칭화대학교에 제출되었습니다.

PHPz앞으로: 2023-05-25 13:44:261412검색

ChatGPT의 출현으로 중국 커뮤니티는 국제 선두 수준과의 격차를 인식하게 되었습니다. 최근 중국 대형 모델 개발이 본격화되고 있지만, 중국 평가 벤치마크는 거의 없다.

OpenAI GPT 시리즈/Google PaLM 시리즈/DeepMind Chinchilla 시리즈/Anthropic Claude 시리즈의 개발 과정에서 MMLU/MATH/BBH의 세 가지 데이터 세트는 각 차원의 기능을 보다 포괄적으로 다루기 때문에 중요한 역할을 했습니다. 모델. 가장 주목할만한 것은 인문학, 사회과학, 이공계 등 57개 학문 분야의 종합적인 지식 역량을 고려한 MMLU 데이터 세트다. DeepMind의 Gopher 및 Chinchilla 모델은 MMLU 점수만 확인하므로 우리는 개발자가 대형 중국 모델을 개발하는 데 도움이 되도록 충분히 차별화된 중국의 다분야 벤치마크 목록을 구축하고자 합니다.

인문학, 사회과학, 이공계, 기타 전공의 4개 전공과 중학교부터 대학 졸업까지 52개 과목(미적분학, 선생성...)을 다루는 프로그램을 약 3개월 동안 구성했습니다. 학생 및 직업 시험, 총 13948문항의 중국어 지식 및 추론 테스트 세트를 C-Eval이라고 부르며 중국 커뮤니티가 대형 모델을 개발할 수 있도록 지원합니다.

이 글은 우리가 C-Eval을 구축하는 과정을 기록하고, 우리의 관점에서 생각하는 R&D 우선순위를 개발자들과 공유하기 위해 작성되었습니다. 우리의 가장 중요한 목표는 모델 개발을 지원하는 것이지 순위를 매기는 것이 아닙니다 . 맹목적으로 목록에서 높은 순위를 추구하는 것은 많은 부정적인 결과를 가져올 것입니다. 그러나 C-Eval을 과학적으로 사용하여 모델 반복을 도울 수 있다면 C-Eval을 극대화할 수 있습니다. 따라서 C-Eval 데이터 세트 및 목록을 모델 개발 관점에서 처리하는 것이 좋습니다.

웹사이트: https://cevalbenchmark.com/
Github: https://github.com/SJTU-LIT/ce 발
Paper: https://arxiv.org/abs/2305.08322

1 - 모델 강도의 핵심 지표

먼저, 모델 대화형 로봇이 되는 것은 어렵지 않습니다. 오픈 소스 세계에는 이미 Alpaca, Vicuna, RWKV와 같은 대화형 로봇이 있습니다. 그들과 가볍게 대화를 나누는 것은 기분 좋은 일이지만, 정말로 이러한 모델이 생산적이기를 원한다면, 자연스럽게 채팅하는 것만으로는 충분하지 않습니다. 따라서 평가 벤치마크 구축에 있어서 첫 번째 과제는 차별화 정도를 찾고, 모델의 강점을 구별하는 핵심지표가 어떤 능력인지 파악하는 것이다. 우리는 지식과 추론이라는 두 가지 핵심을 고려합니다.

1.1 - 지식

왜 지식능력이 핵심능력인가요? 다음과 같은 몇 가지 주장이 있습니다.

모델이 보편성이 있고 다양한 분야에서 생산성에 기여할 수 있기를 바랍니다. 이는 자연스럽게 모델이 각 분야의 지식을 알아야 합니다.
또한 모델이 말도 안 되는 말을 하지 않고, 모르는 것을 모른다고 말할 수 있도록 모델의 지식을 확장하는 것도 필요합니다.
Stanford의 HELM English 평가 목록에서 중요한 결론은 모델의 매개변수 수를 지식 저장에 사용할 수 있기 때문에 모델 크기가 지식 집약적 작업의 성능과 유의한 양의 상관관계가 있다는 것입니다.
위에서 언급했듯이 DeepMind의 Gopher/Chinchilla와 같은 기존 중요 모델은 평가할 때 거의 MMLU만 살펴봅니다. MMLU의 핵심은 모델의 지식 범위를 측정하는 것입니다.
GPT-4 출시 블로그에서는 가장 먼저 모델의 능력을 측정하는 척도로 다양한 과목 시험에서의 모델 성과를 나열합니다.

따라서 지식 기반 역량은 기본 모델의 잠재력을 가늠하는 좋은 척도입니다.

1.2 - 추론

추론 능력은 지식을 바탕으로 더욱 향상할 수 있는 능력으로, 모델이 매우 어렵고 복잡한 작업을 수행할 수 있는지 여부를 나타냅니다. 모델이 강력해지려면 먼저 폭넓은 지식이 필요하고, 그 지식을 바탕으로 추론을 해야 합니다.

추론에 대한 중요한 주장은 다음과 같습니다.

GPT-4 릴리스 블로그에서 OpenAI는 "작업의 복잡성이 충분한 임계값에 도달하면 차이가 발생합니다"(GPT-3.5 및 GPT)라고 명확하게 썼습니다. -4 차이는 작업이 특정 수준까지 복잡해진 후에만 분명해집니다. 이는 강력한 모델에는 상당한 추론 기능이 있는 반면 약한 모델에는 그다지 많은 추론 기능이 없음을 보여줍니다.
PaLM-2의 기술 보고서에는 토론과 집중을 위해 두 가지 추론 데이터 세트 BBH와 MATH가 특별히 나열되어 있습니다.
모델이 차세대 컴퓨팅 플랫폼이 되고 그 위에 새로운 애플리케이션 생태계를 구축하려면 복잡한 작업을 완료할 수 있을 만큼 모델을 강력하게 만들어야 합니다.

여기서 추론과 지식의 관계도 명확히 해야 합니다.

지식 기반 역량은 모델 역량의 기초이며 추론 역량은 더욱 승화됩니다. 모델 추론도 기존 지식 그래프.
지식 기반 작업 목록에서는 일반적으로 모델 크기와 모델 점수가 지속적으로 변경됩니다. 모델이 작다고 해서 절벽 같은 쇠퇴가 발생할 가능성은 낮습니다. 이러한 관점에서 지식 기반 작업은 더욱 차별화되어 있습니다.
추론 작업 목록에서는 모델이 어느 정도 큰 경우에만(아마도 50B 이상, 즉 LLaMA 수준) 모델 크기와 모델 점수 사이에 위상 변화가 있을 수 있습니다. 65B), 모델 추론 능력이 나타날 것입니다.
지식 기반 작업의 경우 CoT(사고 사슬) 프롬프트와 AO(답변만) 프롬프트의 효과는 거의 동일하며 추론 작업의 경우 CoT가 AO보다 훨씬 뛰어납니다.
따라서 여기서 CoT는 추론 효과만 추가하고 지식 효과는 추가하지 않는다는 점을 기억해야 합니다. 우리는 C-Eval 데이터세트에서도 이 현상을 관찰했습니다.

2 - C-Eval의 목표

위의 지식 및 추론 설명을 통해 지식 기반 작업에서 시작하여 모델의 지식 능력을 테스트하기 위한 데이터 세트를 구성하기로 결정했습니다. MMLU 데이터 세트를 벤치마킹하는 것과 동시에 모델의 고차 기능을 추가로 측정하기 위해 추론 관련 콘텐츠를 제공하기를 희망하므로 C-Eval에서 강력한 추론이 필요한 항목을 특별히 추출했습니다. 미적분학, 선형대수학, 확률...)을 명명하고 C-Eval Hard subset을 사용하여 모델의 추론 능력을 측정하는데, 이는 MATH 데이터 세트를 벤치마킹하는 것과 동일합니다.

C-Eval Hard에서는 모델이 먼저 수학 관련 지식이 있어야 하고, 그 다음 단계별 문제 해결 아이디어가 있어야 하고, 그 다음 수치를 위해 Wolfram Alpha/Mathematica/Matlab을 호출해야 합니다. 그리고 문제 해결 과정에서의 기호/미분화 및 통합 계산 과정과 결과를 Latex 형식으로 계산하고 표현하는 능력이 매우 어렵습니다.

C-Eval은 MMLU 전체를 벤치마킹하기를 희망하며(이 데이터 세트는 GPT-3.5, GPT-4, PaLM, PaLM-2, Gopher, Chinchilla 개발에 사용됨) 하드 파트 MATH를 벤치마킹하기를 희망합니다. (이 데이터 세트는 GPT-4, PaLM-2, Minerva, Galactica 개발에 사용됩니다.)

여기서 우리의 가장 중요한 목표는 나열하는 것이 아니라 모델 개발을 지원하는 것이라는 점에 유의해야 합니다. 맹목적으로 목록에서 높은 순위를 추구하는 것은 많은 부정적인 결과를 가져올 것입니다. 이에 대해서는 곧 설명하겠지만 과학적으로 C-Eval을 사용하여 모델 반복을 도울 수 있다면 큰 이점을 얻을 수 있습니다. 모델 개발 관점에서 C-Eval 데이터 세트 및 목록을 처리하는 것이 좋습니다.

2.1 - 목표는 모델 개발을 지원하는 것입니다

실제 연구 개발 과정에서 특정 솔루션의 품질이나 특정 모델의 품질을 알아야 할 경우가 많습니다. 이번에는 테스트에 도움이 되는 데이터 세트가 필요합니다. 다음은 두 가지 고전적인 장면입니다.

시나리오 1, 보조 하이퍼파라미터 검색: 여러 사전 훈련 데이터 혼합 방식이 있는데 어느 것이 더 나은지 확신할 수 없으므로 C-Eval에서 서로 비교하여 최적의 사전 훈련 데이터 혼합 방식.
시나리오 2, 모델의 훈련 단계 비교: 사전 훈련된 체크포인트와 명령 조정 체크포인트가 있고 그런 다음 명령 조정의 효과를 측정하고 싶습니다. 두 가지를 결합할 수 있습니다. 체크포인트는 C-Eval에서 서로 비교되어 사전 훈련과 명령 조정의 상대적 품질을 측정합니다.

2.2 - 순위가 목표가 아닙니다

목록 순위가 목표가 되어서는 안되는 이유를 강조해야 합니다.

목록 순위를 목표로 삼으면 목표는 다음과 같습니다. 높은 점수를 받기는 쉽지만 목록에 적합하지만 다양성을 잃습니다. 이는 NLP 학계가 GPT-3.5 이전에 Bert를 미세 조정하면서 배운 중요한 교훈입니다.
목록 자체는 실제 사용자 경험이 아닌 모델의 잠재력만을 측정합니다. 사용자가 모델을 정말 좋아한다면 여전히 수동 평가가 많이 필요합니다.
순위가 목표라면, 고득점을 위해 지름길을 택하기 쉬웠습니다. 탄탄한 과학 연구의 질과 정신이 사라졌습니다.

따라서 C-Eval을 개발을 지원하는 도구로 사용하면 긍정적인 역할이 극대화될 수 있지만 목록 순위로 사용하면 C-Eval 위험이 크게 오용될 수 있습니다. 결국 좋은 결과가 없을 확률이 높다.

그래서 다시 한 번 C-Eval 데이터 세트 및 목록을 모델 개발 관점에서 처리할 것을 권장합니다.

2.3 - 개발자 피드백의 지속적인 반복

모델이 개발자를 최대한 지원할 수 있기를 바라기 때문에 우리는 개발자와 직접 소통하고 개발자 피드백을 계속 배우고 반복하기로 선택합니다. 또한 큰 모델이 인간 피드백을 통한 강화 학습인 것처럼 C-Eval 개발팀은 개발자 피드백을 통해 계속 학습합니다.

특히 연구 개발 과정에서 ByteDance를 초대했습니다. , SenseTime, Shenyan 및 기타 회사는 C-Eval을 테스트를 위해 자체 워크플로에 통합한 다음 테스트 프로세스의 어려운 점에 대해 서로 소통했습니다. 이 프로세스를 통해 우리는 처음에 예상하지 못했던 많은 것을 배울 수 있었습니다.

많은 테스트 팀은 심지어 같은 회사에서도 테스트 중인 모델에 대한 관련 정보를 전혀 알 수 없습니다(블랙박스 테스트). 또는 이것을 알고도 모델이 지침 조정을 거쳤는지 여부에 따라 상황별 학습과 제로샷 프롬프트를 모두 지원해야 합니다.
일부 모델은 블랙박스 테스트이므로 로짓을 얻을 수 있는 방법이 없습니다. 그러나 작은 모델에 로짓 답이 없는지 확인하는 것이 더 어렵기 때문에 답을 결정하려면 작은 모델 집합을 결정해야 합니다.
상황 내 학습 및 제로 샷 프롬프트와 같은 다양한 유형의 모델 테스트 모델이 있습니다. 답변 전용 및 사고 사슬과 같은 다양한 유형의 모델 자체가 있습니다. 사전 훈련된 체크포인트와 명령어 미세 조정 체크포인트 등이 있으므로 이러한 요소의 각각의 영향과 상호 작용을 명확히 해야 합니다.
모델은 프롬프트 엔지니어링이 필요한지, 프롬프트 엔지니어링이 공정성에 해를 끼치는지 여부에 매우 민감합니다.
GPT-3.5 / GPT-4 / Claude / PaLM의 신속한 엔지니어링이 이루어져야 하며 그들의 경험을 통해 배워야 합니다.

위 문제는 개발자와의 상호작용 중 피드백을 통해 발견되었습니다. 이러한 문제는 C-Eval의 현재 공개 버전의 문서 및 github 코드에서 해결되었습니다.

위의 프로세스는 C-Eval 데이터 세트 및 목록을 모델 개발 관점에서 다루는 것이 모든 사람이 중국 대형 모델을 개발하는 데 매우 도움이 될 수 있음을 증명합니다.

우리는 모든 개발자가 GitHub에 문제 및 끌어오기 요청을 제출하여 더 나은 도움을 줄 수 있는 방법을 알려주는 것을 환영합니다. 더 나은 도움을 드릴 수 있기를 바랍니다. :)

3 - 품질을 보장하는 방법

이 장에서 우리는 논의합니다 생산 과정에서 데이터 세트의 품질을 보장하기 위해 사용한 방법입니다. 여기서 가장 중요한 참고 자료는 MMLU와 MATH라는 두 가지 데이터 세트입니다. 가장 중요한 4개의 대형 모델 팀인 OpenAI, Google, DeepMind 및 Anthropic은 모두 MMLU와 MATH에 중점을 두기 때문에 우리는 이 두 가지 데이터 세트에 기여할 수 있기를 바랍니다. 데이터 세트. 사전 조사와 일련의 논의 끝에 우리는 두 가지 중요한 결정을 내렸습니다. 하나는 데이터 세트를 처음부터 직접 만드는 것이었고, 다른 하나는 질문이 크롤러가 되는 것을 방지하는 데 집중하는 것이었습니다. 훈련 세트로 기어 들어갑니다 .

3.1 - Handmade

GPT의 개발 과정에서 중요한 영감은 인공지능 분야에 인공지능이 있는 만큼 지능이 있다는 점입니다. 이 과정에서도 매우 좋습니다. 특히, 질문 소스에서:

C-Eval의 대부분의 질문은 pdf 및 단어 형식의 파일에서 파생됩니다. 이러한 질문은 추가 처리 및 (수동) 정리가 필요합니다. 사용할 수 있습니다. 인터넷에 다양한 질문이 너무 많기 때문입니다. 웹페이지 텍스트 형태로 직접 존재하는 질문은 모델의 사전 학습에 사용되었을 가능성이 높습니다.

문제를 모은 후 먼저 OCR을 해서 pdf 파일을 전자적으로 변환한 다음 형식을 Markdown으로 통일하고 수식을 처리하는 부분이 Latex 형식으로 통일되는 것이 번거롭습니다. 첫째, OCR이 되지 않을 수 있습니다. 올바르게 인식하려면 OCR을 Latex로 직접 인식할 수 없습니다. 여기서 우리의 접근 방식은 자동으로 변환할 수 없는 경우 자동으로 Latex로 변환하는 것입니다. 그 결과 13,000개가 넘는 질문(H2O와 같은 수학 공식 및 화학 공식 포함)의 모든 기호 관련 내용이 약 2주 동안 우리 프로젝트 팀의 학생들에 의해 하나씩 검증되었습니다. 이렇게 하면

이제 주제는 마크다운 형식으로 매우 아름답게 표시될 수 있습니다. 여기서는 미적분학의 예를 제공합니다. 이 예는 웹사이트의 탐색 섹션에서 직접 볼 수 있습니다.

미적분학, 선 생성 등 52개 주제를 다루는 13948개의 질문이 중국 대형 모델용 테스트 세트를 만들기 위해 칭화대학교에 제출되었습니다.

질문이 왜 어려운지, 생각의 연속 프롬프트가 매우 긴 이유도 느낄 수 있습니다. 모델은 미적분학의 기호와 합을 수행할 수 있어야 합니다. 수치 계산

3.2 - 질문이 훈련 세트에 섞이는 것을 방지하기

우선, 우리 테스트 세트는 질문만 공개하고 답변은 공개하지 않습니다. 자체 모델을 사용하여 로컬에서 답변을 실행하고 웹사이트에 제출하면 백그라운드에서 점수가 제공됩니다
그렇다면 C-Eval 문제는 모두 시뮬레이션 문제입니다. 중학교부터 대학원 입시, 직업고시까지 실제 문제는 모두 온라인에서 쉽게 구할 수 있기 때문입니다. 물론, 노력에도 불구하고 문제은행에 있는 문제를 특정 웹페이지에서 검색할 수 있는 경우가 불가피하게 발생할 수도 있지만, 이러한 상황은 드물다고 생각합니다. 그리고 우리가 얻은 결과로 볼 때 C-Eval 문제는 여전히 충분히 차별화되어 있으며, 특히 Hard 부분은 더욱 그렇습니다.

4 - 순위를 향상시키는 방법

다음으로 모델의 순위를 향상시키는 데 사용할 수 있는 방법을 분석합니다. 먼저 상용화되지 않은 LLaMA 사용, GPT에서 생성된 데이터 사용 등의 단축키와 이러한 방법의 단점을 나열한 다음

어렵지만 올바른 방법

이 무엇인지 논의합니다. 4.1 - 어떤 단축키를 사용할 수 있나요?

사용할 수 있는 단축키는 다음과 같습니다.

LLaMA를 기본 모델로 사용

: 다른 관련 영어 모델 검토 프로젝트 Chain-of-thought Hub에서 다음을 지적했습니다. 65B LLaMA 모델은 GPT-3.5에 비해 약간 약한 기본 모델로, 중국어 데이터로 훈련하면 강력한 영어 능력이 중국어로 자동 전이될 수 있는 잠재력이 크다. 그러나 이것의 단점은 다음과 같습니다.
에 의해 R&D 능력의 상한선이 잠겨 있고, GPT-4는 물론이고 GPT-3.5를 초과하는 것도 불가능합니다. LLaMA는 상업적으로 이용 가능하지 않습니다. 상용화에 사용하면 규정을 직접적으로 위반하게 됩니다GPT-4에서 생성된 데이터를 사용하세요
: 특히 C-Eval Hard 부분은 GPT-4가 직접 하도록 하세요. 그런 다음 Just make your own model에 대한 GPT-4 답변을 제공합니다. 그러나 이것의 단점은 첫째로 노골적인 부정 행위이며 얻은 결과를 일반화할 수 없으며 둘째로 모델의 실제 기능을 나타낼 수 없다는 것입니다. , 상용화되면 OpenAI 규정의 사용을 직접적으로 위반합니다. 셋째, GPT-4의 증류는 모델 넌센스
단거리처럼 보이는 곳에 실제로는 비밀리에 가격이 표시되어 있는 경우가 많습니다.

가장 좋은 방법은 자립하고 처음부터 발전하는 것입니다. 이 일은 어렵고, 시간이 걸리고, 인내가 필요하지만 옳은 길입니다.

구체적으로는 다음 기관의 논문에 집중해야 합니다OpenAI - 모든 기사를 전부 외워야 한다는 것은 의심의 여지가 없습니다

Anthropic - OpenAI가 하지 않는 것 Anthropic이 알려줄 것입니다

Google DeepMind - Google은 숨겨져 있고 숨겨져 있는 OpenAI와 달리 모든 기술을 솔직하게 알려주는 사기꾼에 가깝습니다.
독자가 경험이 없다면, 먼저 다른 곳의 기사를 읽는 것을 중단할 수 있습니다. 먼저 판단력을 키우고 나서 다른 곳의 기사를 읽어 보면 좋은 것과 나쁜 것을 구별할 수 있습니다. 학문에서는 판단하지 않고 그냥 받아들이는 것보다 좋은 것과 나쁜 것을 구별하는 것이 중요합니다.
연구 개발 과정에서는 다음 내용에 주의하는 것이 좋습니다.

DoReMi 방식 등 사전 훈련 데이터를 그룹화하는 방법
BLOOM 방식 등 사전 훈련의 안정성을 높이는 방법
The Flan Collection 등 명령 튜닝 데이터를 그룹화하는 방법
Self-instruct 등 명령어 튜닝 방법
헌법 AI 등 RL 수행 방법
이전 블로그 등 추론 능력 높이는 방법
코딩 능력 높이는 방법, 예를 들어 StarCoder
도구를 늘리는 방법 사용하는 능력(C-Eval Hard는 모델이 과학적 계산을 수행하기 위한 도구를 호출할 수 있어야 함), 예를 들어 toolformer

4.3 - 걱정하지 마세요

대형 모델은 시간이 많이 걸리는 일이며 인공 지능의 핵심입니다. 산업 역량에 대한 종합적인 테스트:

OpenAI의 GPT 시리즈는 2019년부터 2023년까지 GPT-3에서 GPT-4로 변경되었습니다. , 총 4년이 걸렸습니다.
Anthropic의 원래 팀이 OpenAI에서 분리된 후 GPT-3의 경험에도 불구하고 Claude를 다시 실행하는 데 1년이 걸렸습니다.
LLaMA 팀은 OPT와 BLOOM의 레슨에도 불구하고 6개월이 걸렸습니다.
GLM-130B는 프로젝트 수립부터 출시까지 2년이 걸렸습니다.
RL 이전의 콘텐츠인 MOSS의 정렬 부분도 거의 반년이 걸렸는데, 여기에는 아직 RL이 포함되지 않습니다.

그러므로 순위를 얻기 위해 서두를 필요도 없고, 내일 결과를 볼 필요도 없고, 내일 모레 온라인에 접속할 필요도 없습니다. 시간을 갖고 차근차근 따라해 보세요. 어렵지만 올바른 길이 실제로는 가장 빠른 길인 경우가 많습니다.

5 - 결론

이번 글에서는 C-Eval의 개발 목표와 프로세스, 주요 고려사항을 소개했습니다. 우리의 목표는 개발자가 중국 대형 모델을 더 잘 개발할 수 있도록 돕고 학계 및 업계에서 C-Eval의 과학적 사용을 촉진하여 모델 반복을 돕는 것입니다. 대형 모델 자체가 매우 어려운 작업이기 때문에 우리는 결과를 서두르지 않습니다. 우리는 취할 수 있는 지름길을 알고 있지만, 어렵지만 올바른 길이 실제로는 가장 빠른 길이라는 것도 알고 있습니다. 우리는 이 작업이 중국 대형 모델의 R&D 생태계를 촉진하고 사람들이 이 기술이 가져온 편리함을 더 일찍 경험할 수 있기를 바랍니다.

부록 1: C-Eval에 포함된 주제

미적분학, 선 생성 등 52개 주제를 다루는 13948개의 질문이 중국 대형 모델용 테스트 세트를 만들기 위해 칭화대학교에 제출되었습니다.