OpenAI的ChatGPT能夠理解各種各樣的人類指令,並在不同的語言任務中表現出色。這歸功於一種新穎的大規模語言模型微調方法——RLHF(透過強化學習來對齊人類回饋)。
RLHF方法解鎖了語言模型遵循人類指令的能力,使得語言模型的能力與人類需求和價值觀保持一致。
目前,RLHF的研究工作主要使用PPO演算法對語言模型進行最佳化。然而,PPO演算法包含許多超參數,並且在演算法迭代過程中需要多個獨立模型相互配合,因此錯誤的實作細節可能會導致訓練結果不佳。
同時,從與人類對齊的角度來看,強化學習演算法並不是必須的。
#論文網址:https://arxiv.org/abs/2304.05302v1
專案網址:https://github.com/GanjinZero/RRHF
為此,阿里巴巴達摩院和清華大學的作者提出了一種名為基於排序的人類偏好對齊的方法——RRHF。
RRHF不需要強化學習,可以利用不同語言模型產生的回复,包括ChatGPT、GPT-4或目前的訓練模型。 RRHF透過回覆回覆評分,並透過排名損失來將回覆與人類偏好對齊。
與PPO不同,RRHF的訓練過程可以利用人類專家或GPT-4的輸出作為對比。訓練好的RRHF模型可以同時用來作為生成語言模型和獎勵模型。
Playgound AI的CEO表示,這是最近最有趣的一篇論文
下圖中比較了PPO演算法和RRHF演算法的差異。
RRHF對於輸入的查詢,首先透過不同的方式獲得k個回复,再用獎勵模型對這k個回覆分別打分。對於每一個回復採用對數機率的方式進行得分:
#其中是自回歸語言模型的機率分佈。
我們希望對於獎勵模型給分高的回復給與更大的機率,也就是希望和獎勵分數相符。我們透過排序損失來最佳化這個目標:
#額外的,我們也給模型一個目標是去直接學習得分最高的回覆:
可以看到RRHF訓練的過程十分簡單,下面給出了一個RRHF訓練時的loss下降情況,可以看到下降的十分穩定,而且獎勵分數隨著loss下降而穩定上升。
文章作者在HH資料集上進行了實驗,也可以看到和PPO可比的效果:
RRHF演算法可以有效地將語言模型輸出機率與人類偏好對齊,其訓練思路非常簡單,訓練完成的模型有幾個特點:
RRHF方法利用OpenAI的chatGPT或GPT-4作為得分模型和ChatGPT、Alpaca等模型的輸出作為訓練樣本,開發了兩個新的語言模型,分別是Wombat-7B和Wombat-7B-GPT4。訓練的時間在2-4小時不等,十分輕量化。
袋熊Wombat作為新的開源預訓練模型相比於LLaMA、Alpaca等可以更好的與人類偏好對齊。作者們實驗發現Wombat-7B擁有角色扮演#和進行#反事實推理#等複雜的能力。
如果讓Wombat介紹來自3000年的未來科技,Wombat會這樣回答(翻譯自英文):
希望我們的未來如Wombat預測的一樣越來越好。
參考資料:
https://github.com/GanjinZero/RRHF
#以上是無需RLHF就能對齊人類,性能比肩ChatGPT!華人團隊提出袋熊Wombat模型的詳細內容。更多資訊請關注PHP中文網其他相關文章!