消費級顯示卡可用！李開復零一萬物發布並開源90億參數Yi模型，程式碼數學能力史上最強

李開復旗下AI公司零一萬物，又一位大模型選手登場：

90億參數Yi-9B。

它號稱Yi系列中的「理科狀元」，「惡補」了代碼數學，同時綜合能力也沒落下。

在一系列類似規模的開源模型（包括Mistral-7B、SOLAR-10.7B、Gemma-7B、DeepSeek-Coder-7B-Base-v1.5等）中，表現最佳。

老規矩，發布即開源，尤其對開發者友好#：

Yi-9B（BF 16） 和其量化版Yi- 9B（Int8）都能在消費級顯示卡上部署。

一塊RTX 4090、一塊RTX 3090就可以。

深度擴增階段增量訓練而成

零一萬物的Yi家族先前已經發布了Yi-6B和Yi-34B系列。

這兩者都是在3.1T token中英文資料上進行的預訓練，Yi-9B則在此基礎上，增加了0.8T token繼續訓練而成。

資料的截止日期是2023年6月。

開頭提到，Yi-9B最大的進步在於數學和程式碼，那麼這倆能力究竟該如何提升呢？

零一萬物介紹：

單靠增加資料量並沒辦法達到預期。

靠的是先增加模型大小，在Yi-6B的基礎上增加至9B，再進行多階段資料增量訓練。

首先，怎麼個模型大小增加法？

 一個前提是，團隊透過分析發現：

Yi-6B訓練得已經很充分，再怎麼新增更多token練效果可能也不會往上了，所以考慮擴增它的大小。 (下圖單位不是TB而是B)

怎麼增加？答案是深度擴增。

零一萬物介紹：

對原模型進行寬度擴增會帶來更多的效能損失，透過選擇適當的layer對模型進行深度擴增後，新增layer的input/output cosine 越接近1.0，即擴增後的模型性能越能保持原有模型的性能，模型性能損失微弱。

依此思路，零一萬物選擇複製Yi-6B相對靠後的16層（12-28 層)，組成了48層的Yi-9B。

實驗顯示，此方法比用Solar-10.7B模型複製中間的16層（8-24層）效能更優。

其次，怎麼個多階段訓練法？

答案是先增加0.4T包含文字和程式碼的數據，但數據比對與Yi-6B一樣。

然後增加另外的0.4T數據，同樣包括文字和程式碼，但重點增加程式碼和數學數據的比例。

（悟了，就和我們在大模型提問裡的訣竅「think step by step」思路一樣）

這兩步操作完成後，還沒完，團隊也參考兩篇論文（An Empirical Model of Large-Batch Training和Don't Decay the Learning Rate, Increase the Batch Size）的思路，優化了調參方法。

即從固定的學習率開始，每當模型loss停止下降時就增加batch size，使其下降不中斷，讓模型學習得更加充分。

最終，Yi-9B實際共包含88億參數，達成4k上下文長度。

Yi系列中代碼和數學能力最強

實測中，零一萬物使用greedy decoding的生成方式（即每次選擇機率值最大的單字）來進行測試。

參評模型為DeepSeek-Coder、DeepSeek-Math、Mistral-7B、SOLAR-10.7B和Gemma-7B：

（1）DeepSeek-Coder，來自國內的深度求索公司，其33B的指令調優版本人類評估超越GPT-3.5-turbo，7B版本性能則能達到CodeLlama-34B的性能。

DeepSeek-Math則靠7B參數幹翻GPT-4，震撼整個開源社群。

（2）SOLAR-10.7B來自韓國的Upstage AI，2023年12月誕生，性能超越Mixtral-8x7B-Instruct。

（3）Mistral-7B則是首個開源MoE大模型，達到甚至超越了Llama 2 70B和GPT-3.5的水平。

（4）Gemma-7B來自谷歌，零一萬物指出：

其有效參數量其實和Yi-9B一個等級。

（兩者命名準則不一樣，前者只用了Non-Embedding參數，後者用的是全部參數量並向上取整）

結果如下。

首先在程式碼任務上，Yi-9B效能僅次於DeepSeek-Coder-7B，其餘四位全部被KO。

在數學能力上，Yi-9B表現僅次於DeepSeek-Math-7B，超越其餘四位。

綜合能力也不賴。

其性能在尺寸相近的開源模型中最好，超越了其餘全部五位選手。

最後，也測了常識與推理能力：

#結果是Yi-9B與Mistral-7B、SOLAR-10.7B和Gemma-7B不相上下。

以及語言能力，不只英文不錯，中文也是廣受好評：

#最最後，看完這些，有網友表示：已經迫不及待想試試了。

還有人則替DeepSeek捏了一把汗：

趕緊加強你們的「比賽」吧。全面主導地位已經沒有了==

傳送門在此：https://huggingface.co/01-ai/Yi-9B

以上是消費級顯示卡可用！李開復零一萬物發布並開源90億參數Yi模型，程式碼數學能力史上最強的詳細內容。更多資訊請關注PHP中文網其他相關文章！