部署國產ChatGPT僅需6G顯存！ ChatYuan模型開放下載：業界首個功能對話開源中文大模型

前段時間，元語智慧開發團隊訓練了一個類似ChatGPT的功能型對話大模型ChatYuan，並在網頁版中開放了試玩介面。

現在你也可以在自己的機器上部署一個ChatYuan了！

模型可用於問答場景，能夠結合上下文做對話、做各種生成任務，包括創意寫作，也能回答法律、新冠等領域類問題。

並且在全中文任務中支援零樣本學習，使用者可以透過提供prompt的方式來使用，支援文字產生、資訊擷取和理解大類下近30多種中文任務。

ChatYuan基於PromptCLUE-large結合數億個功能問答和多輪對話資料進一步訓練得到，模型參數量7.7億，顯存6G左右，一張民用顯示卡即可載入使用，目前模型已開放下載。

PromptCLUE在1000億token中文語料上預先訓練，累計學習1.5兆中文token，並且在數百種任務上進行Prompt任務式訓練。

針對理解類別任務，如分類、情緒分析、抽取等，可以自訂標籤體系；針對多種生成任務，可以進行採樣自由生成。

如何使用

1. Github

專案網址：https://github.com/clue-ai/ChatYuan

#2. Huggingface

#專案位址：https://huggingface.co/ClueAI/ChatYuan- large-v1

3. ModelScope

#專案網址：https://modelscope.cn/models/ ClueAI/ChatYuan-large

#使用模型進行預測推理方法：

############################################## ##4. PaddlePaddle###############################專案網址：###https://aistudio.baidu.com /aistudio/projectdetail/5404182#########

模式位址：https://huggingface.co/ClueAI/ChatYuan-large-v1-paddle

使用自有資料訓練模型

1. 組織資料

將資料組織成統一的格式，由兩部分構成：輸入（ Input）和輸出（Output）。

針對單輪問答或產生：

##輸入文字

##輸出（Output）：系統需要預測的文本，如下圖中「小元」後的內容。

針對多輪對話：

#輸入（Input）：任務描述上文輸入文字

輸出（Output）：系統需要預測的文本，如下圖中「小元」後的內容。

單輪對話資料格式：

#多輪對話資料格式：

#2. 訓練模型

訓練程式碼可以參考：

#使用pCLUE資料集進行訓練、預測和效果驗證, pytorch實作－線上colab。

Github專案：https://colab.research.google.com/drive/1lEyFhEfoc-5Z5xqpEKkZt_iMaojH1MP_ ?usp=sharing

舉例#==========範例1======= ===

使用者：

#你能幹嘛

小元：

您好！我是元語AI。我可以回答您的問題、寫文章、寫作業、翻譯，對於一些法律等領域的問題我也可以提供你資訊。

==========範例2==========

#用戶：

寫一首詩歌，關於冬天

小元：

冬夜寂靜冷，

雲在天邊飄，

冰封白雪上，

寒冷像一場雪。

######雪花融化成冰，############像那雪花飄灑，############在寒冷的冬天，############感受春天的喜悅。 ############冬日裡，############風雪漸消，############一片寂靜，### ###

把快樂和溫暖帶回家。

==========範例3==========

#使用者：

學前教育專業職位實習中，在學生方面會存在問題，請提出改進措施。 800字

小元：

#在學前教育專業工作實習中，學生方面會存在一些問題，如學生缺乏專業知識、缺乏合作意識、缺乏基本的責任感等等，需要我們採取措施，來解決這些問題。

首先，在實習過程中，我們需要培養學生的團隊意識，加強學生與老師之間的合作，加強與家長之間的溝通，並提高他們的溝通能力。另外，我們也需要加強學生的獨立性，讓學生學習獨立思考，學會和老師、家長溝通，培養獨立自主。

此外，在日常的工作中，我們也要提供學生適當的機會和機會，讓學生多接觸社會、多參與社會活動，加深他們對社會、學校的認識，培養他們主動、積極和創新的精神。

最後，我們還需要重視學生在實習中出現的問題，尤其是學生缺乏合作，有依賴心理，不懂得分享，有拖延行為等，這些學生應該引起我們的重視，制定合理的改進措施，改善這些問題。

技術與訓練過程

ChatYuan是在PromptCLUE基礎上進一步訓練所獲得的模型。它去掉了文字理解、資訊擷取類別任務，加強了問答、對話和各種生成式任務的學習和訓練；

針對多輪對話容易受到情境的干擾，加入了抗干擾數據使得模型可以在必要時忽略無關的上下文；加入了用戶反饋數據的學習，使得模型不僅具有一定的通用語言理解能力、特定任務上的生成能力，也能更好的響應用戶的意圖。

PromptCLUE的學習過程

1. 三大統一：統一模型架構（text-to-text），統一任務形式（prompt），統一應用方式（zero-shot/few-shot）（T0）
2. 大規模預訓練：在t5-large版基礎上，使用數百G中文語料，訓練了100萬步，累積訓練了1.5萬億個中文字詞級別token
3. 大規模任務數據：使用了16種任務類型，數百種任務，累積億級任務資料
4. 混合預訓練：一方面將下游任務作為預訓練語料，另一方面將下游任務和預訓練語料一起訓練，減少任務災難遺忘以及縮短預訓練和下游任務的距離，更好的適應下游任務（ExT5）
5. 混合採樣：針對眾多數據量差異極大的任務，採用在每個訓練batch內對所有的任務進行依照比例採樣，根據任務的資料量進行平滑採樣，並且同時限制任務資料量採樣池的上限。平滑採樣可以減少任務訓練有偏危害，在每一batch內訓練可以減少異質任務之間訓練負遷移的情況（T5）
6. 分階段訓練：一方面指在預訓練分階段，涉及訓練序列長度的分階段（128和512），加快預訓練速度（Bert）；另一方面，在下游訓練分階段， 涉及學習率和序列長度的變化以及遞減式對下游任務的資料量限制，更好的適應下游的不同任務。
7. 增加語言模型的訓練：參考t5.1.1, 除了使用Span Corrpution建構的方式進行無監督訓練，同時在使用prefix LM的方式訓練，增強生成任務的能力（LM adapted）
8. 增加對模型的encoder以及decoder的訓練：根據下游任務資料分別建構Data_text,Data_target預訓練資料語料，加入到預訓練中，分別增強模型的encoder理解能力和decoder的生成能力（見UIE）
9. 重新建構模型中文字典：使用sentencepiece在千億token上學習並建立模型字典，更符合中文語言習慣

後續工作

##目前版本可以進行問答、對話和各種創意性寫作或文本生成，相對於線上的版本，它的意圖理解和生成能力在一些場合還有比較大的提升空間；它也還不能較好實現推理或複雜的任務。之後，會根據回饋進一步改進現有版本。

以上是部署國產ChatGPT僅需6G顯存！ ChatYuan模型開放下載：業界首個功能對話開源中文大模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！