Princeton 오픈 소스 34B 수학적 모델: 매개변수가 절반으로 줄어들고 성능은 Google Minerva와 비슷하며 550억 개의 토큰이 전문 데이터 교육에 사용됩니다.

과학의 초석인 수학은 언제나 연구와 혁신의 핵심 분야였습니다.

최근 프린스턴 대학교를 포함한 7개 기관에서는 Google Minerva 62B에 필적하는 성능을 갖춘 수학용 대규모 언어 모델 LLEMMA를 공동으로 출시하고 해당 모델, 데이터 세트 및 코드를 공개하여 수학 연구 기회 및 교육에 전례 없는 이점을 제공했습니다. 자원.

문서 주소: https://arxiv.org/abs/2310.10631

데이터 세트의 링크 주소: https://huggingface.co/datasets/EleutherAI/proof-pile- 2

프로젝트 주소: https://github.com/EleutherAI/math-lm 다시 작성해야 할 사항은 다음과 같습니다.

LLEMMA는 Code Llama의 기반을 상속하고 Proof-Pile-2에서 사전 훈련되었습니다.

Proof-Pile-2, 과학 논문, 수학 콘텐츠가 풍부한 웹 데이터, 수학 코드 등 550억 개의 토큰 정보가 포함된 거대한 혼합 데이터 세트입니다.

이 데이터 세트의 일부인 대수 스택은 숫자, 기호 및 수학적 증명을 다루는 17개 언어의 110억 개 데이터 세트를 통합합니다.

7억 개 및 34억 개의 매개변수를 사용하여 MATH 벤치마크에서 매우 뛰어난 성능을 발휘하며 알려진 모든 오픈 소스 기반 모델을 능가합니다.

Google Research에서 특별히 수학용으로 개발한 폐쇄형 모델과 비교했을 때 Llemma 34B는 Minerva 62B의 절반에 해당하는 매개변수 수로 거의 동일한 성능을 달성했습니다.

Llemma는 매개변수 기반 문제 해결에서 Minerva의 성능을 능가합니다. 계산 도구와 형식 정리 증명을 사용하여 수학적 문제 해결에 무한한 가능성을 제공합니다.

Python 인터프리터와 형식 증명을 편리하게 사용할 수 있습니다. 수학적 문제를 해결하는 능력을 입증합니다

공식 증명 데이터에 특별히 중점을 두었기 때문에 Algebraic Stack은 소수 정리 기본 모델을 증명하는 능력을 입증한 최초의 오픈 소스가 되었습니다

사진

연구원들은 LLEMMA의 모든 훈련 데이터와 코드도 공개적으로 공유했습니다. 이전 수학적 모델과 달리 LLEMMA는 전체 과학 연구 커뮤니티에 문을 열어주는 오픈 소스, 공개 및 공유 모델입니다.

연구원들은 모델 기억 효과를 정량화하려고 시도했지만 놀랍게도 훈련 세트에 나타난 문제에 대해서는 Llemma가 더 정확해지지 않았다는 사실을 발견했습니다. 코드와 데이터는 공개적으로 사용 가능하므로 연구원들은 다른 사람들이 분석을 복제하고 확장하도록 권장합니다

훈련 데이터 및 실험 구성

LLEMMA는 수학 전용의 대규모 언어 모델로, Code Llama를 기반으로 하는 Proof-Pile-2에서 계속 사전 훈련됩니다. Proof-Pile-2는 과학 논문, 수학 콘텐츠가 포함된 웹 페이지 데이터 및 수학 코드를 포함하는 혼합 데이터 세트로, AlgebraicStack의 코드 부분에는 17가지 유형의 데이터 세트가 포함되어 있습니다. 수치, 기호 및 형식 수학을 다루는 수학이 공개되었습니다.

LLEMMA의 모든 모델은 Code Llama에 의해 초기화됩니다. Code Llama 모델은 Llama 2

에서 초기화되는 디코더 전용 언어 모델입니다. 저자는 표준 자동 회귀 언어 구축 모델 대상을 사용하여 Proof-Pile-2에서 Code Llama 모델을 추가로 훈련했습니다. 7B 모델의 경우 200B 마커를 사용하여 학습을 수행하였고, 34B 모델의 경우 50B 마커를 사용하여 학습을 수행하였습니다.

평가 방법 및 실험 결과

저자는 Proof-Pile-2를 사용하여 코드를 수행했습니다. Llama MATH 및 GSM8k와 같은 여러 수학적 문제 해결 작업에 대해 사전 교육을 계속하고 LLEMMA에 대한 몇 번의 평가를 수행합니다.

연구원들은 LLEMMA가 이러한 작업을 크게 개선했으며 다양한 문제 유형과 어려움에 적응할 수 있다는 것을 발견했습니다.

LLEMMA 34B는 매우 어려운 수학적 문제에서 다른 개방형 기본 모델보다 더 강력한 수학적 기능을 보여줍니다.

수학적 벤치마크에서 LLEMMA는 계속해서 Proof-Pile-2보다 뛰어난 성능을 발휘합니다. 5개의 수학 벤치마크에서.

LLEMMA 34B의 개선은 GSM8k의 Code Llama보다 20% 포인트 더 높고 MATH에서는 13% 더 높습니다. 또한 LLEMMA 7B는 비슷한 크기의 독점 Minerva 모델보다 성능이 뛰어납니다. 이는 Proof-Pile-2에 대한 사전 훈련이 수학적 문제 해결에 있어 대형 모델의 수학적 문제 해결 능력

을 효과적으로 향상시킬 수 있음을 입증합니다. Python과 같은 컴퓨팅 도구를 사용하면 LLEMMA는 MATH+Python 및 GSM8k+Python 작업 모두에서 Code Llama보다 더 나은 성능을 발휘합니다.

MATH 및 GSM8k 데이터 세트를 사용할 때 LLEMMA의 성능은 도구를 사용하지 않을 때보다 더 좋습니다

수학적 증명 작업에서는 LLEMMA가 잘 수행됩니다.

비공식 증명에서 형식 증명으로의 작업 목표는 형식 설명, 비공식 LATEX 설명, 비공식 LATEX 증명으로 구성됩니다. 이 경우 형식 증명을 생성한 후 검증합니다. 증명 보조원에 의해.

형식 증명은 일련의 증명 단계(전략)를 생성하여 형식적 진술을 증명하는 것입니다. 결과는 Proof-Pile-2에 대한 LLEMMA의 지속적인 사전 훈련이 이 두 가지 형식 정리 증명 작업의 소수 샷 성능을 향상시킨다는 것을 보여줍니다.

LLEMMA는 인상적인 성능을 제공할 뿐만 아니라 혁신적인 데이터 세트를 열고 놀라운 문제 해결 기능을 보여줍니다.

오픈 소스 공유 정신은 수학 세계의 새로운 시대를 열었습니다. 수학의 미래가 여기에 있으며, 우리 수학 애호가, 연구자, 교육자 모두가 그로부터 혜택을 받을 것입니다.

LLEMMA의 출현은 수학 문제를 더욱 효율적이고 혁신적으로 해결할 수 있는 전례 없는 도구를 제공합니다.

또한 공개 공유 개념은 전 세계 과학 연구 커뮤니티 간의 더 깊은 협력을 촉진하고 공동으로 과학 발전을 촉진할 것입니다.

위 내용은 Princeton 오픈 소스 34B 수학적 모델: 매개변수가 절반으로 줄어들고 성능은 Google Minerva와 비슷하며 550억 개의 토큰이 전문 데이터 교육에 사용됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!