復旦發布中國版ChatGPT：MOSS開啟測試衝上熱搜，伺服器擠爆

ChatGPT 是最先進的AI，也是最熱門的應用程式—— 自去年11 月底發布以來，它的月活躍用戶兩個月超過一億，輕鬆拿到了全球互聯網史上用戶增長速度的第一。

它也是一種門檻很高的技術。由於 ChatGPT 的訓練過程所需算力資源大、標註成本高，目前國內暫未出現對大眾開放的同類產品。百度、阿里、京東等網路大廠都放出消息，表示正在打造「國產 ChatGPT」，並將在近期發布。

在各大廠產品到位之前，學界先有了消息。 2 月 20 日晚，復旦大學自然語言處理實驗室發布了具備 ChatGPT 能力的語言模式 ——MOSS，並公開邀請內測。

• MOSS 體驗連結：https://moss.fastnlp.top/
• MOSS 專案首​​頁：https://txsun1997.github.io/blogs/moss.html

MOSS 的名稱來自電影《流浪地球》，和電影一樣火爆的是，MOSS 發布的消息很快就衝上了知乎等平台熱搜榜的第一位。

不過與科幻不同的是，現實世界的AI 還沒有量子電腦加持，距離開放還沒有24個小時，由於瞬時訪問壓力過大，MOSS 伺服器昨晚已被擠爆，可見大家對於生成語言模型的期待程度有多高。

根據復旦大學研究人員介紹，目前在內測，與使用者互動迭代優化，不適合公測。

• 我們知道，自然語言處理是AI 領域的最大挑戰之一，雖然突破已經出現，但這個月上線的新必應搜索，以及谷歌發布的競品BARD 在測試中不時會出現問題，復旦大學的MOSS 水平如何呢？
對話 MOSS，水平如何？
• MOSS 的基礎功能與 ChatGPT 類似，可以依照使用者輸入的指令完成各類自然語言處理任務，包括文字產生、文字摘要、翻譯、程式碼產生、閒聊等等。在預覽期間，MOSS 的使用是免費的。

MOSS 和ChatGPT 一樣，建構的過程包括自然語言基礎模型訓練，以及理解人類意圖的對話能力訓練兩個階段。

#########根據專案首頁介紹，MOSS 與ChatGPT 的主要差異在於：########## #####MOSS 的參數數量比ChatGPT 少很多。 ############MOSS 透過與人類和其他人工智慧模型交談來學習，而 ChatGPT 則透過人類回饋強化學習（RLHF）進行訓練。 ############MOSS 將是開源的，以促進未來的研究，但 ChatGPT 可能不會。 ###############MOSS 的對話等級如何，讓我們來看幾個範例。以下是 MOSS 產生的一些互動記錄：######################

在這個例子中，用戶首先要求MOSS 推薦五部科幻電影，接著要求MOSS 產生了一個表格來展示這些電影以及它們的導演，最後要求MOSS 在表格中新插入一列來展示這些電影的上映年份。完成這項任務需要語言模型具備強大的多輪互動能力和指令理解能力，MOSS 顯然在這兩方面表現優異。

與 ChatGPT 類似，MOSS 有時也會輸出一些事實性錯誤的範例。

除了多輪對話，MOSS 產生程式碼也不在話下。在下面的範例中，MOSS 不僅可以提供使用者實現快速排序的 Python 程式碼，還能在使用者的要求下對這段程式碼提供解釋和使用範例，可謂是手把手教學的程式設計師了。

除了讓MOSS 幫忙寫程式碼之外，還可以向MOSS 詢問有關程式碼細節的問題，讓其更好地幫助理解程式碼。在下面的例子中，使用者向 MOSS 詢問了一段程式碼的程式語言和功能，並進一步提問了其中一個函數的作用，MOSS 均給出了滿意的回應。

此外，MOSS 還具備人類的價值觀，當被要求回答不合理的問題時，MOSS 會拒絕回答並給予正確的勸導。

據了解，MOSS 採用參數量為百億級的自研模型進行訓練。在對話能力訓練階段，OpenAI 收集了至少數十萬條人類指令 —— 讓各行各業的專業標註員寫出指令回复，再將它們輸入模型基座，以幫助 ChatGPT 逐步理解各種指令。復旦團隊則採用不同的技術路線，透過讓 MOSS 和人類以及其它 AI 模型都進行交互，顯著提升了學習效率和研發效率，短時間內高效完成了對話能力訓練。

研發團隊表示，雖然MOSS 已經實現了ChatGPT 的一些功能，但仍存在許多限制，由於缺乏高品質的數據、運算資源和模型容量，MOSS 仍然遠遠落後於ChatGPT。

• 由於訓練資料中的多語言語料庫有限，MOSS 在理解和產生英語以外的語言的文本方面表現不佳。團隊目前正在開發一個改進版本，以提高其中文語言技能。
• 由於模型容量相對較小，MOSS 不包含足夠的世界知識。因此，MOSS 產生的一些反應可能包含誤導性或虛假資訊。
• 有時 MOSS 以迂迴的方式執行，甚至未能遵循指示。在這種情況下，使用者可能需要重新產生幾次或修改 prompt，以獲得令人滿意的回應。團隊正在積極提高其遵循指示的能力以及生產力。
• 有時 MOSS 可能會因 prompt 產生不道德或有害的反應。使用者可透過點擊 “不喜歡” 來幫助減少此類行為，團隊將在下一個版本中更新模型。

研究團隊指出，目前版本的MOSS 表現仍不穩定，也受到資料集問題的影響：「MOSS 的英文回答水準比中文高，因為它的模型基座學習了3000 多億個英文單詞，中文詞語只學了約300 億個。」

發布之後，團隊將持續透過提供MOSS 的可存取介面，根據寶貴的使用者回饋（在許可下）不斷改進模型。

未來，研究人員還計劃結合復旦在人工智慧和相關交叉學科的研究成果，賦予MOSS 繪圖、語音、譜曲等多模態能力，並加強它輔助科學家進行高效率科研的能力等。

期待 MOSS 能為國內對話大模型的發展開一個好頭。

团队介绍

MOSS 的主要作者共有两位：复旦大学教授邱锡鹏和他的博士生孙天祥。此外还有多位成员对项目有所贡献。

邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师。国家优青获得者，于复旦大学获得理学学士和博士学位。主要从事自然语言处理、深度学习等方向的研究，发表 CCF A/B 类论文 70 余篇，获得 ACL 2017 杰出论文奖（CCF A 类）、CCL 2019 最佳论文奖、《中国科学：技术科学》2021 年度高影响力论文奖，有 5 篇论文入选 PaperDigest 发布的 IJCAI/ACL/EMNLP 的最有影响力论文（被引用数进入前当届会议的 20 名）。出版开源专著《神经网络与深度学习》，Github 关注数 1.5 万，豆瓣评分 9.4 分。主持开发了开源框架 FudanNLP 和 FastNLP，已被国内外数百家单位使用。2015 年入选首届中国科协青年人才托举工程项目，2018 年获钱伟长中文信息处理科学技术奖青年创新奖一等奖，2020 获第四届上海高校青年教师教学竞赛优等奖，2021 年获首届上海市计算机学会教学成果奖一等奖（第一完成人）等。培养学生多次获得一级学会优博、微软学者、百度奖学金等。

孙天祥，复旦大学计算机科学学院博士生，导师为邱锡鹏教授和黄萱菁教授。2019 年毕业于西安电子科技大学。研究兴趣集中于机器学习及其在自然语言处理中的应用，特别是预训练语言模型的高效微调及推理、多任务学习、知识表示学习等。以第一作者在 ICML, ACL, NAACL, AAAI, COLING 等会议发表多篇论文。

以上是復旦發布中國版ChatGPT：MOSS開啟測試衝上熱搜，伺服器擠爆的詳細內容。更多資訊請關注PHP中文網其他相關文章！