效果可達 OpanAI 同等模型 96%，國產開源 AI 語言模型 TigerBot 發布

6 月 8 日消息，國產多模態大語言模式 TigerBot 近日正式發布，包含 70 億參數和 1,800 億參數兩個版本，目前已經在 GitHub 開源。

▲ 圖源TigerBot 的GitHub 頁面

據悉，TigerBot 帶來的創新主要在於：

##提出指令完成監督微調的創新演算法提升模型可學習性。
• 運用 ensemble 和 probabilistic modeling 的方法來實現可控事實性和創造性。
• 在平行訓練上突破 deep-speed 等主流框架中的記憶體和通訊問題。

此外，模型也針對中文語言更不規則的分佈，從 tokenizer 到訓練演算法上做了更適合的最佳化。

研究人員陳燁在虎博科技官網表示：「該模型在只使用少量參數的情況下，就能快速理解人類提出了哪類問題。根據OpenAI InstructGPT 論文在公開NLP 資料集上的自動評測，TigerBot-7B 已達到OpenAI 同樣大小模型的綜合表現的96%。」

##▲ 圖源TigerBot 的GitHub 頁面

據稱，其中TigerBot-7B-base 的表現「優於OpenAI 同等可比較模型」 ，開源程式碼包括基本訓練和推理程式碼，雙卡推理180B 模型的量化和推理程式碼。數據包括 100G 預訓練數據，監督微調 1G 或 100 萬條數據。

IT之家小夥伴可以

在這裡找到 GitHub 的開源專案

。

以上是效果可達 OpanAI 同等模型 96%，國產開源 AI 語言模型 TigerBot 發布的詳細內容。更多資訊請關注PHP中文網其他相關文章！