谷歌發布能讓 AI 自主判斷輸出準確性的模型訓練架構 ASPIRE

Google最近發布新聞稿，宣布推出ASPIRE訓練框架，專為大語言模型設計。該框架旨在提升AI模型的選擇性預測能力。

Google提到，當下大語言模型在自然語言理解和生成內容方面發展迅速，已被用於建立各種創新應用，但要應用於高風險決策類場合依然不妥。這是由於模型預測具有不確定性及「幻覺」可能，因此Google開發了一個ASPIRE 訓練框架，為系列模型引入了「可信度」機制，即—— 模型會輸出一系列答案，每個答案都會具有正確機率評分。

▲ 圖源Google新聞稿（下同）

在技術層面，此訓練框架可分為三個階段：特定任務調整、答案採樣和自我評估學習。

其中「特定任務調整」階段是對已接受過基礎訓練的大型語言模型進行深入訓練，專注於強化模型的預測能力。研究人員主要為模型引入一系列可調參數，在特定任務的訓練資料集上微調預訓練語言模型，從而提升模型預測效能，讓模型能更好地解決特定問題。

第二階段為“答案取樣”，經過特定微調後，模型可以利用先前學習到的可調參數，為每個訓練問題產生不同的答案，並建立用於自我評估學習的資料集，產生一系列可信度較高的答案。 研究者同時使用 「集束搜尋（Beam Search）」方法及 Rouge-L 演算法來評估答案的質量，並將產生的答案及評分重新輸入給模型開啟第三階段。

而在第三階段「自我評估學習」中，研究人員為模型加入一組可調參數，專門用於提升模型自我評估能力。 這個階段的目標是讓模型學習「自己判斷輸出的答案準確度」，從而讓大語言模型在產生答案時，也會附上答案的正確機率評分。

Google研究人員使用CoQA、TriviaQA 和SQuAD 三個問答資料集來驗證ASPIRE 訓練框架的成果，據稱「經過ASPIRE 調整的OPT-2.7B 小模型，表現遠超更大的OPT- 30B 模型」。而這項實驗結果也同時表明，只要經過適當的調整，即使是小語言模型，在部分場景下也可以超越大語言模型。

研究人員總結稱，ASPIRE 框架訓練能夠顯著提升大語言模型輸出準確率，即使是較小的模型，也可以在經過微調後進行「準確且有自信」的預測。

以上是谷歌發布能讓 AI 自主判斷輸出準確性的模型訓練架構 ASPIRE的詳細內容。更多資訊請關注PHP中文網其他相關文章！