Sky-T1 : GPT-4O 및 Deepseek V3에 도전하는 $ 450 llm

UC Berkeley의 Novasky 팀은 AI 세계에서 획기적인 업적을 달성하여 Sky-T1-32B-Prreview를 공개했습니다. 이 모델은 GPT-4 및 O1과 같은 주요 상업용 모델의 성능을 경쟁하지만 교육 비용은 450 달러 미만이었습니다. 이것은 일반적으로 그러한 고급 AI 개발과 관련된 수백만 달러 예산을 극적으로 약화시킵니다. Sky-T1-32B-Prreview의 접근성이 가장 중요한 측면입니다. 전체 프로젝트 (데이터, 코드 및 모델 가중치)는 공개적으로 이용 가능하며, 연구원, 학자 및 애호가가 AI의 개선과 더 많은 민주화에 기여할 수 있도록 힘을 실어줍니다.

Sky-T1-32B-PREVIEW를 구별하는 것은 무엇입니까?

내부 작업이 독점적 인 상태로 유지되는 많은 고성능 모델과 달리 Sky-T1-32B- 프리뷰는 완전한 투명성을 제공합니다. 수학적 추론과 코딩 작업 모두에서 탁월한 성능은 특히 주목할 만하다.

Sky-T1-32B-PRREVIEW의 생성 :

개발 과정에는 몇 가지 주요 단계가 포함되었습니다

엄격한 데이터 큐 레이션 :

수학, 코딩, 과학 및 퍼즐을 포함하는 다양한 데이터 세트가 데이터 품질을 보장하기 위해 거부 샘플링과 같은 기술을 사용하여 세 심하게 수집하고 개선되었습니다. 데이터 재구성이 더욱 향상된 정확도

효율적인 교육 : 팀은 준비된 데이터 세트를 사용하여 오픈 소스 QWEN-2.5-32B 모델을 미세 조정했습니다. 8 개의 고급 GPU에서 단 19 시간 만에 완료된 교육 과정은 접근 방식의 효율성을 강조합니다.

균형 훈련 데이터 :

주요 성공 요인은 교육 데이터에서 수학과 코딩 문제 사이의 신중한 균형을 유지하여 모델이 두 영역 모두에서 탁월 할 수있게하는 것이 었습니다.

벤치 마크 결과 :

Sky-T1-32B-Prreview의 성능은 다양한 벤치 마크에서 예외적입니다

1. 수학 : AMAME에서 82.4% 정확도를 달성했으며 AIME2024에서 43.3%, 최고 상업용 모델과의 경쟁.

   코딩 :
는 LiveCodebench-Easy에서 86.3%를 기록하여 복잡한 코딩 작업의 숙련도를 보여줍니다.

2. 주요 결과 :

   데이터 다양성은 핵심입니다.
수학 및 코딩 데이터의 균형 잡힌 혼합은 모델의 성공에 중요했습니다.
3. 최적의 모델 크기 :

   실험에서 32b 매개 변수 모델이 고급 추론 기능을 달성하기위한 최적의 크기임을 보여주었습니다. 오픈 소스 추론의 미래 :

   Sky-T1-32B-PrReview는 중요한 단계를 나타내며 Novasky는 모델 효율성과 정확도를 계속 정제 할 계획입니다. 오픈 소스 개발에 대한 그들의 헌신은 협업을 촉진하고 분야의 진보를 가속화합니다. 자원 :
   [코드 링크] [기술 보고서] <s s> [모델 가중치] </s><p> <strong> 결론 : </strong> Novasky의 업적은 비싸고 폐쇄 소스 AI 개발의 확립 된 패러다임에 도전합니다. 고성능 모델이 저렴하고 공개적으로 만들어 질 수 있음을 입증함으로써 최첨단 AI 기술에 대한 접근을 민주화하고보다 포괄적이고 협력적인 연구 환경을 조성하고 있습니다.</p>

위 내용은 Sky-T1 : GPT-4O 및 Deepseek V3에 도전하는 $ 450 llm의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!