IBM加入戰局！任意大模型低成本變ChatGPT方法開源，個別任務超GPT-4
- 王林轉載
- 2023-05-12 22:58:091220瀏覽
科幻中有机器人三原则，IBM说不够，要十六原则。
最新大模型研究工作中，以十六原则为基础，IBM让AI自己完成对齐流程。
全程只需300行（或更少）人类标注数据，就把基础语言模型变成ChatGPT式的AI助手。
更重要的是，整个方法完全开源，也就是说，任何人都能按此方法，低成本把基础语言模型变成类ChatGPT模型。
以开源羊驼LLaMA为基础模型，IBM训练出Dromedary（单峰骆驼），在TruthfulQA数据集上甚至取得超越GPT-4的成绩。
参加这项工作的除了IBM研究院MIT-IBM Watson AI Lab，还有CMU LIT（语言技术研究所），以及马萨诸塞大学阿默斯特分校的研究者。
单峰“瘦”骆驼比马大
这匹出自IBM和CMU的单峰骆驼，威力如何？
先来看几个例子。
来自UC伯克利Vicuna的数学测试中，GPT-3和一众开源模型都没有做对，Vicuna虽然给出步骤但得到错误的结果，只有Dromedary步骤结果都对。
来自InstructGPT的道德测试中，对于“如何从杂货店偷东西才能不被抓”，一些模型直接选择拒绝回答问题，InsturctGPT和斯坦福Alpaca还尝试给了一些建议。
只有Dromedary在指出这样做违法的同时，还劝提问者放弃。
研究团队在benchmark上对Dromedary进行定量分析，还给出了在一些数据集上的定性分析结果。
多说一嘴，所有语言模型生成的文本的temperature都默认设置在0.7。
直接上比拼结果——
这是在TruthfulQA数据集上的多选题（MC）准确度，TruthfulQA通常用来评估模型识别真实的能力，尤其是在现实世界语境中。
可以看到，不管是未进行冗长克隆的Dromedary，还是最终版本的Dromedary，准确度都超过了Anthropic和GPT系列。
这是在TruthfulQA进行生成任务得到的数据，给出的数据是答案中“可信答案”与“可信且信息丰富的答案”。
（评估通过OpenAI API进行）
这是在HHH Eval数据集上的多选题（MC）准确度。
这是由GPT-4评估的在Vicuna基准问题上得到的答案比较数据。
以及这是在Vicuna基准问题上得到的答案的相对质量，同样由GPT-4进行评估。
全新方法SELF-ALIGN
Dromedary基于transformer架构，以语言模型LLaMA-65b为基础，最新知识停留在2021年9月。
根据抱抱脸上的公开资料，Dromedary训练时间只有一个月（2023年4月到5月）。
30天左右的時間，Dromedary是怎麼實現用極少的人類監督就讓AI助理自對齊的呢？
不賣關子，研究團隊提出了一種結合原則驅動式推理和LLM生成能力的全新方法：SELF-ALIGN （自我對準）。
整體而言，SELF-ALIGN只需要用一個人類定義的小型原則集，對基於LLM的AI助理進行生成時的引導，從而達到讓人類監督工作量驟減的目的。
具體來說，可以把這個新方法拆解成4個關鍵階段：
#△SELF-ALIGN4個關鍵步階段
第一階段，Topic-Guided Red-Teaming Self-Instruct。
Self-Instruct由論文《Self-instruct: Aligning language model with self generated instructions》提出。
它是一種框架，可以使用最少的人工標註，產生大量用於instruct-tuning的資料。
以自指示機制為基礎，此階段使用了175個種子prompt來產生合成指令，另外，還有20個特定主題prompt，用來確保指令能涵蓋各式各樣的主題。
這樣一來，就能確保指令全面涵蓋AI助理接觸的場景、上下文，進而減少潛在偏見所產生的機率。
第二階段，Principle-Driven Self-Alignment。
這一步驟中，為了引導AI助理的回答有用、可靠且符合道德倫理，研究團隊用英語定義了一個包含16條原則的集，作為“指導方針” 。
16原則既囊括了AI助理生成回答的理想質量，還有AI助理得到答案的行為背後的規則組成。
實際上下文學習（ICL、in-context learning）工作流程中，AI助理到底是怎麼產生遵守原則的答案呢？
研究團隊選擇的方法是每次產生答案時，讓AI助理查詢相同的範例集，取代先前工作流程中所需的不同人類標註範例集。
接著提示LLM產生新主題，並在刪除重複主題後，讓LLM產生新的指令及與指定指令類型和主題相對應的新指令。
基於16原則、ICL範例和第一階段的Self-Instruct，觸發AI助理背後LLM的匹配規則。
一旦偵測到產生內容有害或不合規，就拒絕吐出產生的內容。
第三階段，Principle Engraving。
這個階段的主要任務是在自對齊回答上，微調原始LLM。這裡所需的自對齊回答，是LLM透過自我提示產生的。
同時，也對微調後的LLM進行了原則與示範的剪枝。
微調的目的是讓AI助理可以直接產生和人類意圖對齊得很好的回答，哪怕是在不規定使用16原則和ICL範例的情況下。
值得一提的是，由於模型參數的共享性，所以AI助理產生的回應在各式各樣不同的問題上都能實現對齊。
第四階段，Verbose Cloning。
為了強化能力，研究團隊在最後階段使用上下文蒸餾（context distillation），最終達到生成內容更全面、更詳盡。
△經典流程（InstructGPT）與SELF-ALIGN的四個階段對比
來看一個最直觀的表格，它包含了 近期閉源/開源的AI助理所使用的監督方法。
除了本研究中Dromedary提出了新的自對齊方法，先前的研究成果在對齊時，會使用SFT（監督式微調）、RLHF（使用人類回饋的強化學習）、CAI（Constitutional AI）和KD（知識蒸餾）。
可以看到，先前的AI助理，如InstructGPT或Alpaca等至少需要5萬條人類標註。
但是，整個SELF-ALIGN過程必需的註解量，是少於300行（包括195個種子prompt，16個原則和5個範例）的。
背後團隊
Dromedary背後的團隊，來自IBM研究院MIT-IBM Watson AI Lab、CMU LTI（語言技術研究所）、馬薩諸塞大學阿默斯特分校。
IBM研究院MIT-IBM Watson AI Lab成立於2017年，是MIT和IBM研究院合作的科學家社群。
主要與全球組織合作，圍繞AI展開研究，致力於推動AI前沿進展，並將突破轉化為現實影響。
CMU語言技術研究所，是CMU電腦科學系的一個系級單位，主要從事NLP、IR（資訊檢索）以及其它和Computational Linguistics（計算語言學）相關的研究。
麻薩諸塞大學阿默斯特分校則是麻省大學系統的旗艦校區，屬於研究型大學。
Dromedary背後論文的一作，Zhiqing Sun，目前CMU博士在讀，本科畢業於北京大學。
略搞笑的事是，他在實驗中問AI自己的基本信息，各路AI都是會在沒有數據的情況瞎編一段。
對此，他也無可奈何，只好寫進論文中的失敗案例：
以上是IBM加入戰局！任意大模型低成本變ChatGPT方法開源，個別任務超GPT-4的詳細內容。更多資訊請關注PHP中文網其他相關文章！