Sky-T1：GPT-4O＆Deepseek V3に挑戦する450ドルのLLM

UCバークレーのノヴァスキーチームは、AIの世界で画期的な偉業を達成し、Sky-T1-32B-Previewを発表しました。 このモデルは、GPT-4やO1などの主要な商用モデルのパフォーマンスに匹敵しますが、トレーニングコストは450ドル未満でした。 これは、このような高度なAI開発に通常関連する数百万ドルの予算を劇的に下げます。

Sky-T1-32B-Previewのアクセシビリティは、その最も重要な側面です。 プロジェクト全体（DATA、コード、モデルの重み）は公開されており、研究者、学者、および愛好家がその改善に貢献し、AIの民主化に貢献している。

sky-t1-32b-previewを際立たせるものは何ですか？

内部の作業が独自のままである多くの高性能モデルとは異なり、Sky-T1-32B-Previewは完全な透明性を提供します。 数学的推論とコーディングの両方のタスクの両方におけるその例外的なパフォーマンスは特に注目に値します。

SKY-T1-32B-PREVIEWの作成：

開発プロセスには、いくつかの重要なステップが含まれていました

厳密なデータキュレーション：

データの品質を確保するための拒絶サンプリングなどの手法を使用して、数学、コーディング、科学、パズルを含む多様なデータセットを細心の注意を払って収集および洗練しました。 データの再フォーマットにより、精度がさらに向上しました

1. 効率的なトレーニング：

   チームは、準備されたデータセットを使用してオープンソースqwen-2.5-32bモデルを微調整しました。 8つのハイエンドGPUでわずか19時間で完了したトレーニングプロセスは、アプローチの効率を強調しています。

バランスの取れたトレーニングデータ：
2. 重要な成功要因は、トレーニングデータの数学とコーディングの問題の慎重なバランスであり、モデルが両方の領域で優れていることを可能にしました。
   ベンチマークの結果：

3. SKY-T1-32B-PREVIEWのパフォーマンスは、さまざまなベンチマークで例外的です：

数学：

Math500で82.4％の精度、AIME2024で43.3％を達成し、トップの商業モデルと競争します。

コーディング：livecodebench-Eesyで86.3％を獲得し、複雑なコーディングタスクの習熟度を示しています。

• 重要な調査結果：
• データの多様性が重要です：
数学とコーディングデータのバランスの取れたミックスは、モデルの成功にとって重要でした。

最適なモデルサイズ：実験により、32Bパラメーターモデルが高度な推論機能を達成するための最適なサイズであることが示されました。

オープンソースの推論の未来：

Sky-T1-32B-Previewは大きな前進を表しており、Novaskyはモデルの効率と精度を洗練し続ける計画を立てています。 オープンソース開発への彼らのコミットメントは、コラボレーションを促進し、フィールドの進歩を加速します。

リソース：

[コードへのリンク]
[テクニカルレポート]
[モデルの重み]

結論：

ノヴァスキーの功績は、高価で閉鎖ソースAI開発の確立されたパラダイムに挑戦しています。 高性能モデルを手頃な価格で公然と作成できることを実証することにより、最先端のAIテクノロジーへのアクセスを民主化し、より包括的で共同研究環境を促進しています。

以上がSky-T1：GPT-4O＆Deepseek V3に挑戦する450ドルのLLMの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。