160億參數，新增多項能力，復旦MOSS開源了

今年2 月份，機器之心報導了復旦大學推出中國版ChatGPT 的消息（請參閱《復旦發布中國版ChatGPT：MOSS 開啟測試衝上熱搜，伺服器擠爆》），引起了廣泛關注。當時，邱錫鵬教授就曾表示將於四月開源 Moss。

昨天，開源版的 Moss 真的來了。

#專案位址：https://github.com/OpenLMLab/MOSS

MOSS 是一個支援中英雙語和多種外掛程式的開源對話語言模型，但參數數量比ChatGPT 少得多。在 v0.0.2 之後，團隊持續調整，推出了 MOSS v0.0.3，也就是目前開源的版本。相較於早期版本，功能也實現了多項更新。

在最初的測試中，MOSS 的基礎功能與ChatGPT 類似，可以依照使用者輸入的指令完成各類自然語言處理任務，包括文字產生、文字摘要、翻譯、程式碼生成、閒聊等等。

開放內測後，團隊繼續加大中文語料的預訓練：「截止目前，MOSS 003 的基座語言模型已經在100B 中文token 上進行了訓練，總訓練token 數量達到700B，其中還包含約300B 代碼。」

在開放內測後，我們也收集了一些用戶數據，我們發現真實中文世界的用戶意圖和OpenAI InstructGPT 論文中披露的user prompt 分佈有較大差異（這不僅與用戶來自的國家差異有關，也跟產品上線時間有關，早期產品採集的數據中存在大量對抗性和測試性輸入），於是我們以這部分真實數據作為seed 重新產生了約110 萬常規對話數據，涵蓋更細粒度的helpfulness 數據和更廣泛的harmlessness 數據。

內容來源：https://www.zhihu.com/question/596908242/answer/2994534005

#目前，團隊已將moss-moon-003-base、moss-moon-003-sft、moss-moon-003-sft-plugin 三個模型上傳到HuggingFace。後續，還有三個模型將會開源。

根據專案首頁介紹，moss-moon 系列模型具有160 億參數，在FP16 精度下可在單張A100/A800 或兩張3090 顯示卡運行，在INT4/8 精度下可在單張3090 顯示卡運行。

團隊同時表示，由於模型參數量較小和自回歸生成範式，MOSS 仍然可能產生包含事實性錯誤的誤導性回應或包含偏見/ 歧視的有害內容，請謹慎辨別並使用MOSS 產生的內容，請勿將MOSS 產生的有害內容傳播至網路。

新增能力

在 MOSS v0.0.3 中，團隊加入了多項新能力。

團隊建構了約 30 萬個插件增強的對話數據，包含搜尋引擎、文生圖、計算器、方程式求解等。關於插件版 MOSS 如何使用，後續團隊將在 GitHub 公佈。

MOSS v0.0.3 現已引入使用多種外掛程式的能力。

下圖展示了呼叫搜尋引擎的能力：

下圖展示了呼叫方程式求解器的能力：

下圖展示了從文字產生圖片的能力：

專案作者孫天祥補充說，MOSS 003 支援啟用插件的能力是透過 meta instruction 來控制，類似 gpt-3.5-turbo 裡的 system prompt。 「因為是模型控制的，所以並不能保證100% 控制率，以及還存在一些多選插件時調用不準、插件互相打架的缺陷，我們正在盡快開發新的模型來緩解這些問題。」

下載安裝

下載本倉庫內容至本機/ 遠端伺服器：

git clone https://github.com/OpenLMLab/MOSS.gitcd MOSS

建立conda 環境：

conda create --name moss pythnotallow=3.8
conda activate moss

安裝依賴：

pip install -r requirements.txt

其中torch 和transformers 版本不建議低於建議版本。

根據協議，開源的MOSS 可用於商業用途：

此外，開發者也可透過API 呼叫MOSS 服務，團隊將根據目前服務壓力考慮透過API 介面形式提供服務，介面格式可參考：https://github.com/OpenLMLab/MOSS/blob/main/moss_api.pdf

目前，已有開發者根據開源​​內容進行而創，例如透過VideoChat 進行視訊問答。

VideoChat 是一款多功能影片問答工具，結合了動作辨識、視覺字幕和 StableLM 的功能。該工具可為影片中的任何物件和動作產生密集的描述性字幕，提供一系列語言風格以滿足不同的使用者偏好。它支援使用者進行不同長度、情緒、語言真實性的對話。

#專案位址：https://github.com/OpenGVLab/Ask-Anything/tree/main/video_chat_with_MOSS

#

以上是160億參數，新增多項能力，復旦MOSS開源了的詳細內容。更多資訊請關注PHP中文網其他相關文章！