Olmo 2：完全開源基礎模型

AI2的開創性Olmo 2語言模型是完全開源的，為大語模型（LLMS）領域的性能和透明度樹立了新的基準。這些自回歸模型擁有優化的培訓，創新的數據混合物和高級指導調整技術。讓我們深入研究細節。

“每個人都想要開源的語言模型，但沒有人願意舉起這些沉重的屁股。” - 內森·蘭伯特（@natolambert）

這條推文完美地包圍了AI2克服的挑戰。他們的“ 2 Olmo 2 Furious”紙詳細介紹了他們的成功。

目錄

• 2 Olmo 2憤怒：深度潛水
• Olmo 2的主要特徵
  • 強大的訓練穩定性
  • 優化的數據混合物
  • 建築增強功能
• 訓練後的改進
• 基礎架構：關鍵成分
• Olmo 2基準：性能比較
• 體驗Olmo 2
• 訪問Olmo 2：關鍵鏈接
• 結論

2 Olmo 2憤怒：深度潛水

7B和13B參數尺寸可用的Olmo 2通過完全透明度來區分自身。 AI2已公開發布了培訓數據，代碼，食譜，甚至中間檢查站，從而促進了協作和加速研究。這些模型提供的績效與諸如Llama 3.1和Qwen 2.5之類的行業領導者相當，但效率顯著提高。

“ 2 Olmo 2 Furious”研究論文提供了全面的細節。

Olmo 2的主要特徵

強大的訓練穩定性

Olmo 2使用：

• 數據改進：過濾冗餘N-Grams。
• 改進的初始化：標準化初始化方案。
• 正則化：採用Z-loss穩定輸出邏輯。

這些改進可以使較大數據集的更平穩培訓和有效處理。

優化的數據混合物

Olmo 2採用了兩階段預處理的方法：

• 最初的預處理：利用5萬億個代幣高質量的網絡數據。
• 中期訓練增強：集成域特異性數據集（數學，STEM），以Dolmino Mix 1124數據集為例。

建築增強功能

Olmo 2的建築結合了：

• RMSNORM：用於穩定的激活歸一化。
• 重新排序的層標準：通過標準化注意力和進發液層輸出來增強穩定性。
• 高分辨率位置編碼：分辨率增加的旋轉位置嵌入。

這些架構選擇有助於可擴展性和效率。

訓練後的改進

Olmo 2的訓練後培訓利用Tülu3食譜，重點是：

• 監督微調（SFT）：完善的指導跟隨能力。
• 具有可驗證獎勵（RLVR）的強化學習：在特定任務（數學，事實推理）上優化性能。

這導致Olmo 2教學模型在GSM8K和MMLU等基準中出色。

基礎架構：關鍵成分

AI2的高級基礎設施對Olmo 2的成功至關重要：

• 高性能計算集群：在多個數據中心使用NVIDIA H100 GPU。
• 燒杯工作負載管理：用於有效的工作負載分配和監視。

這種強大的基礎架構可最大程度地減少培訓中斷並最大化資源利用率。

Olmo 2基準：性能比較

Olmo 2在特定任務上經常優於QWEN 2.5和LLAMA 3.1，尤其是在包含Dolmino Mix 1124的情況下。它也表現出了顯著的效率，可相當或出色的結果，較少的鞋失敗了20％。

體驗Olmo 2

訪問模型並自己嘗試！還提供了本地用途的說明。

訪問Olmo 2：關鍵鏈接

• 論文： https ：//www.php.cn/link/cb14acf78723becd7023f4f4f4f56027cece
• 博客： https ：//www.php.cn/link/96B0548661234C39AC2A02872F8CFCB2
• 演示： https ：//www.php.cn/link/3eebaed369eb3ae36a90f310f310fc33638c
• 收集： https：//www.php.cn/link/ae3b166c302150f4def9a8176fd36460

結論

Olmo 2代表了開源AI的重大進步，優先考慮透明度和創新。通過公開分享其資源，AI2促進了協作並加速了該領域的進步，從而推動了AI應用程序的未來。

以上是Olmo 2：完全開源基礎模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！