7B 오픈 소스 수학적 모델은 중국 팀이 제작한 수십억 개의 GPT-4를 물리칩니다.

7B 오픈소스 모델, 수학적 힘이 1000억 규모의 GPT-4를 뛰어넘습니다!

그 성능은 오픈소스 모델의 한계를 돌파했다고 할 수 있습니다. Alibaba Tongyi의 연구원들조차도 스케일링 법칙이 실패했다고 한탄했습니다.

외부 도구 없이 경쟁 수준의 MATH 데이터 세트에서 51.7%의 정확도를 달성할 수 있습니다.

오픈 소스 모델 중 GPT-4의 초기 및 API 버전을 능가하는 이 데이터세트의 정확도를 절반으로 달성한 최초의 모델입니다.

이 성과는 전체 오픈 소스 커뮤니티에 충격을 주었습니다. Stability AI의 창립자인 Emad Mostaque는 R&D 팀이 인상적이며 과소평가된 잠재력을 가지고 있다고 칭찬했습니다.

Deep Search 팀의 최신 오픈 소스 7B 대형 수학 모델 DeepSeekMath입니다.

7B 모델이 나머지 모델을 능가합니다

DeepSeekMath의 수학적 능력을 평가하기 위해 연구팀은 테스트를 위해 중국어 (MGSM-zh, CMATH) 영어 (GSM8K, MATH) 이중 언어 데이터 세트를 사용했습니다.

보조 도구를 사용하지 않고 사고 사슬의 프롬프트에만 의존(CoT) DeepSeekMath의 성능은 70B 대형 수학적 모델 MetaMATH를 포함한 다른 오픈 소스 모델을 능가했습니다.

자체 출시된 67B 범용 대형 모델과 비교하여 DeepSeekMath의 결과도 크게 향상되었습니다.

비공개 소스 모델을 고려하면 DeepSeekMath는 여러 데이터 세트에서 Gemini Pro 및 GPT-3.5를 능가하고 중국 CMATH에서는 GPT-4를 능가하며 MATH에서의 성능도 그에 가깝습니다.

하지만 유출된 사양에 따르면 GPT-4는 수천억 개의 매개변수를 가진 거대하고 DeepSeekMath에는 7B 매개변수만 있다는 점에 유의해야 합니다.

도구 (Python) 을 지원에 사용할 수 있으면 DeepSeekMath의 경쟁 난이도 (MATH) 데이터 세트 성능이 7% 포인트 더 향상될 수 있습니다.

그렇다면 DeepSeekMath의 뛰어난 성능 뒤에는 어떤 기술이 적용되어 있을까요?

코드 모델을 기반으로 구축

일반 모델보다 더 나은 수학적 성능을 얻기 위해 연구팀은 코드 모델 DeepSeek-Coder-v1.5를 사용하여 초기화했습니다.

팀은 2단계 훈련이든 1단계 훈련 설정이든 코드 훈련이 일반 데이터 훈련에 비해 모델의 수학적 능력을 향상시킬 수 있다는 것을 발견했기 때문입니다.

Coder를 기반으로 연구팀은 계속해서 5000억 개의 토큰을 훈련했습니다. 데이터 분포는 다음과 같습니다.

훈련 데이터 측면에서 DeepSeekMath는 Common Crawl에서 추출한 120B개의 고품질 수학 웹페이지 데이터를 사용합니다. DeepSeekMath 코퍼스를 얻었으며, 전체 데이터 양은 오픈소스 데이터세트인 OpenWebMath의 9배에 달합니다.

데이터 수집 프로세스는 4번의 반복을 통해 수행되었으며, 연구팀은 3,500만 개 이상의 수학 웹 페이지를 수집했으며, 토큰 수는 1,200억 개에 달했습니다.

훈련 데이터에 테스트 세트의 내용이 포함되지 않도록(GSM8K 및 MATH의 내용은 인터넷에 대량으로 존재하기 때문), 연구팀은 필터링도 특별히 수행했습니다.

DeepSeekMath Corpus의 데이터 품질을 검증하기 위해 연구팀은 MathPile과 같은 여러 데이터 세트를 사용하여 1,500억 개의 토큰을 훈련한 결과 여러 수학 벤치마크에서 Corpus가 크게 앞섰습니다.

정렬 단계에서 연구팀은 먼저 CoT, PoT 및 도구 통합 추론의 세 가지 형식을 포함하는 776K 샘플 중국어 및 영어 수학 안내 감독 미세 조정 (SFT) 데이터 세트를 구축했습니다.

강화학습(RL) 단계에서 연구팀은 "GRPO(Group Relative Policy Optimization) "라는 효율적인 알고리즘을 사용했습니다.

GRPO는 근위 정책 최적화

(PPO) 의 변형으로, 기존 가치 함수를 그룹 기반 상대 보상 추정으로 대체하여 훈련 중 계산 및 메모리 요구 사항을 줄일 수 있습니다.

동시에 GRPO는 반복적인 프로세스를 통해 교육을 받고, 정책 모델의 출력을 기반으로 보상 모델이 지속적으로 업데이트되어 정책의 지속적인 개선이 보장됩니다.

국내 최초 오픈소스 MoE 모델을 출시했습니다.

DeepSeekMath를 출시한 심층 검색팀은 국내 오픈소스 모델 분야의 '리딩 플레이어'입니다.

이전 팀은 국내 최초 오픈소스 MoE 모델인 DeepSeek MoE를 출시했는데, 7B 버전은 같은 규모의 밀도가 높은 모델인 Llama 2를 계산량의 40%로 이겼습니다.

일반 모델로서 DeepSeek MoE는 코딩 및 수학 작업에서 매우 우수한 성능을 발휘하며 리소스 소비도 매우 낮습니다.

코드 측면에서 팀이 출시한 DeepSeek-Coder의 프로그래밍 능력은 코드 생성, 파일 간 코드 완성, 수학적 프로그래밍 솔루션 등 여러 작업에서 동일한 규모의 오픈 소스 벤치마크인 CodeLllama를 능가했습니다. 문제.

동시에 GPT-3.5-Turbo도 물리치고 GPT-4-Turbo에 가장 가까운 오픈 소스 코드 모델이 되었습니다.

앞서 언급했듯이 이번에 출시된 DeepSeekMath도 Coder를 기반으로 구축되었습니다.

X에서는 일부 사람들이 이미 MoE 버전의 Coder 및 Math를 기대하고 있습니다.

논문 주소: https://arxiv.org/abs/2402.03300

위 내용은 7B 오픈 소스 수학적 모델은 중국 팀이 제작한 수십억 개의 GPT-4를 물리칩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!