OLMO 2 : 완전 오픈 소스 재단 모델

AI2의 획기적인 OLMO 2 언어 모델은 완전히 오픈 소스이며 LLM (Lange Language Models) 분야의 성능과 투명성에 대한 새로운 벤치 마크를 설정합니다. 이자가 회귀 모델은 최적화 된 교육, 혁신적인 데이터 혼합물 및 고급 교육 튜닝 기술을 자랑합니다. 세부 사항을 탐구합시다.

"모든 사람은 오픈 소스 언어 모델을 원하지만 아무도이 무거운 엉덩이 무게를 들어 올리기를 원하지 않습니다." -Nathan Lambert (@Natolambert)

이 트윗은 AI2가 극복 한 도전을 완벽하게 캡슐화합니다. 그들의 "2 Olmo 2 Furious"논문은 그들의 성공에 대해 자세히 설명합니다.

목차

• 2 Olmo 2 Furious : 깊은 다이빙
• Olmo 2의 주요 특징
  • 강력한 훈련 안정성
  • 최적화 된 데이터 블렌드
  • 건축 개선
• 훈련 후 개선
• 인프라 : 주요 성분
• OLMO 2 벤치마킹 : 성능 비교
• Olmo 경험 2
• OLMO 2에 액세스 : 키 링크
• 결론

2 Olmo 2 Furious : 깊은 다이빙

7b 및 13b 매개 변수 크기로 제공되는 OLMO 2는 완전한 투명성을 통해 자체적으로 구별됩니다. AI2는 교육 데이터, 코드, 레시피 및 중간 체크 포인트까지 공개적으로 공개되어 협업을 촉진하고 연구 가속화되었습니다. 이 모델은 LLAMA 3.1 및 Qwen 2.5와 같은 업계 리더와 비교할 수있는 성능을 제공하지만 효율성이 크게 향상되었습니다.

"2 Olmo 2 Furious"연구 논문은 포괄적 인 세부 사항을 제공합니다.

Olmo 2의 주요 특징

강력한 훈련 안정성

OLMO 2는 일반적인 훈련 불안정 (손실 스파이크)을 사용하여 다음을 수행합니다.

• 데이터 정제 : 여분의 N-Grams 필터링.
• 개선 된 초기화 : 표준화 된 초기화 체계.
• 정규화 : 출력 로짓을 안정화하기 위해 Z-loss를 사용합니다.

이러한 개선으로 인해 더 큰 교육 및 더 큰 데이터 세트의 효율적인 처리가 가능합니다.

최적화 된 데이터 블렌드

OLMO 2는 2 단계 전 사전 조정 접근법을 사용합니다.

• 초기 전 사전 조정 : 고품질 웹 데이터의 5 조 5 조 토큰을 활용합니다.
• 중간 훈련 향상 : Dolmino Mix 1124 데이터 세트에 의해 예시 된 도메인 별 데이터 세트 (Math, STEM) 통합.

건축 개선

Olmo 2의 아키텍처는 다음과 같습니다.

• RMSNorm : 안정적인 활성화 정규화를 위해.
• 재정렬 층 표준 : 주의 및 피드 포워드 층 출력을 정상화하여 안정성 향상.
• 고해상도 위치 인코딩 : 해상도가 증가한 로터리 위치 임베딩.

이러한 건축 선택은 확장 성과 효율성에 기여합니다.

훈련 후 개선

Olmo 2의 훈련 사후 훈련은 다음에 중점을 둔 Tülu 3 레시피를 활용합니다.

• 감독 된 미세 조정 (SFT) : 교육 교육 능력을 정제합니다.
• 검증 가능한 보상 (RLVR)을 사용한 강화 학습 : 특정 작업에서 성과 최적화 (수학, 사실 추론).

이로 인해 GSM8K 및 MMLU와 같은 벤치 마크에서 우수한 OLMO 2 가지 구조 모델이 발생합니다.

인프라 : 주요 성분

AI2의 고급 인프라는 OLMO 2의 성공에 중요합니다.

• 고성능 컴퓨팅 클러스터 : 여러 데이터 센터에서 NVIDIA H100 GPU 사용.
• 비이커 워크로드 관리 : 효율적인 워크로드 배포 및 모니터링.

이 강력한 인프라는 교육 중단을 최소화하고 자원 활용을 극대화합니다.

OLMO 2 벤치마킹 : 성능 비교

OLMO 2는 특히 Dolmino Mix 1124를 포함함에 따라 특정 작업에 대한 Qwen 2.5 및 Llama 3.1을 자주 성능이 우수합니다. 또한 현저한 효율성을 보여 주어 최대 20% 적은 플로프로 비슷하거나 우수한 결과를 달성합니다.

Olmo 경험 2

모델에 액세스하고 직접 시도하십시오! 현지 사용 지침도 제공됩니다.

OLMO 2에 액세스 : 키 링크

• 종이 : https://www.php.cn/link/cb14acf78723becd7023f4f56027cece
• 블로그 : https://www.php.cn/link/96b054861234c39ac2a02872f8cfcb2
• 데모 : https://www.php.cn/link/3eebaed369eb3ae36a90f310fc33638c
• 컬렉션 : https://www.php.cn/link/ae3b166c302150f4def9a8176fd36460

결론

OLMO 2는 오픈 소스 AI의 상당한 발전으로 투명성과 혁신을 우선시합니다. AI2는 자원을 공개적으로 공유함으로써 협업을 조성하고 현장의 진보를 가속화하여 AI 응용 프로그램의 미래를 주도합니다.

위 내용은 OLMO 2 : 완전 오픈 소스 재단 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!