搜尋
首頁科技週邊人工智慧人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈

人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈
AIxiv專欄是本站發布學術、技術內容的欄位。過去數年,本站AIxiv專欄接收通報了2,000多篇內容,涵蓋全球各大專院校與企業的頂尖實驗室,有效促進了學術交流與傳播。如果您有優秀的工作想要分享,歡迎投稿或聯絡報道。投稿信箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

Richard Sutton 在「The Bitter Lesson」中做過這樣的評價: 「從70年的人工智慧研究中可以得出的最重要教訓是,那些利用計算的通用方法最終是最有效的,而且優勢巨大。」



人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈

  • ##自我博弈(self play)就是這樣一種同時利用搜尋和學習從而充分利用和擴大計算規模的方法。
  • 今年年初,加州大學洛杉磯分校(UCLA)的顧全全教授團隊提出了一種
  • 自我博弈微調方法(Self-Play Fine-Tuning, SPIN )
,可不使用額外微調數據,僅靠自我博弈就能大幅提升LLM 的能力。

最近,顧全全教授團隊和卡內基美隆大學(CMU)Yiming Yang教授團隊合作開發了一種名為「自我博弈偏好優化(Self-Play Preference Optimization, SPPO)
」的對齊技術,此新方法旨在透過自我博弈的框架來優化大語言模型的行為,使其更好地符合人類的偏好。左右互搏再顯神通!


論文標題:Self-Play Preference Optimization for Language Model Alignment

論文連結:https://arxiv.org/pdf/2405.00675.pdf

技術背景與挑戰

人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈

#大語言模型(LLM)正成為人工智慧領域的重要推動力,憑藉其出色的文本生成和理解能力在種任務中表現卓越。儘管LLM的能力令人矚目,但要讓這些模型的輸出行為更符合實際應用中的需求,通常需要透過對準(alignment)過程進行微調。

這個過程關鍵在於調整模型以更好地反映人類的偏好和行為準則。常見的方法包括基於人類回饋的強化學習(RLHF)或直接偏好優化(Direct Preference Optimization,DPO)。

基於人類回饋的強化學習(RLHF)依賴於顯式的維護一個獎勵模型用來調整和細化大語言模型。換言之,例如,InstructGPT就是基於人類偏好資料先訓練一個服從Bradley-Terry模型的獎勵函數,然後使用像近似策略優化(Proximal Policy Optimization,PPO)的強化學習演算法去優化大語言模型。去年,研究者提出了直接偏好優化(Direct Preference Optimization,DPO)。

不同於RLHF維護一個明確的獎勵模型,DPO演算法隱含的服從Bradley-Terry模型,但可以直接用於大語言模型最佳化。已有工作試圖透過多次迭代的使用DPO來進一步微調大模型 (圖1)。

人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈

###卷######如Bradley-Terry這樣的參數模型會為每個選擇提供一個數值分數。這些模型雖然提供了合理的人類偏好近似,但未能完全捕捉人類行為的複雜性。 ###############這些模型往往假設不同選擇之間的偏好關係是單調和傳遞的,而實證證據卻常常顯示出人類決策的非一致性和非線性,例如Tversky的研究觀察到人類決策可能會受到多種因素的影響,並表現出不一致性。 ##################SPPO的理論基礎與方法##################
                                 圖2.中非常想上排性愛的兩個語言模型上進行常態與遊戲。

在這些背景下,作者提出了一個新的自我博弈框架SPPO,該框架不僅具有解決兩個玩家常和博弈(two-player constant-sum game)的可證明保證,而且可以擴展到大規模的高效微調大型語言模型。

具體來說,文章將RLHF問題嚴格定義為一個兩玩家常和博弈 (圖2)。工作的目標是識別納許均衡策略,這種策略在平均意義上始終能提供比其他任何策略更受偏好的回應。

為了近似地識別納許均衡策略,作者採用了具有乘法權重的經典線上自適應演算法作為解決兩玩家博弈的高層框架演算法。

在該框架的每一步內,演算法可以透過自我博弈機制來近似乘法權重更新,其中在每一輪中,大語言模型都在針對上一輪的自身進行微調,透過模型產生的合成資料和偏好模型的註解來進行最佳化。

具體來說,大語言模型在每一輪迴會針對每個提示產生若干回應;依據偏好模型的標註,演算法可以估計出每個回覆的勝率;演算法從而可以進一步微調大語言模型的參數使得那些勝率高的回應擁有更高的出現機率(圖3)。

人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈

                                圖上加碼模型

#實驗設計與成果

在實驗中,研究團隊採用了一種Mistral-7B作為基準模型,並使用了UltraFeedback資料集的60,000個提示(prompt)進行無監督訓練。他們發現,透過自我博弈的方式,模型能夠顯著提高在多個評估平台上的表現,例如AlpacaEval 2.0和MT-Bench。這些平台廣泛用於評估模型生成文本的品質和相關性。

透過SPPO方法,模型不僅在
生成文字的流暢性準確性上得到了改進,更重要的是:「它在符合人類價值和偏好方面表現得更加出色」。

人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈

                                 圖中 4.SPPO模型在AlpacaEval 2.0020672.0% 上的高度提升。

在AlpacaEval 2.0的測試中(圖4),經過SPPO優化的模型在長度控制勝率方面從基線模型的17.11%提升到了28.53%,顯示了其對人類偏好理解的顯著提高。經過三輪SPPO優化的模型在AlpacaEval2.0上顯著優於多輪迭代的DPO, IPO和自我獎勵的語言模型(Self-Rewarding LM)。

此外,模型在MT-Bench上的表現也超過了傳統透過人類回饋調優的模型。這證明了SPPO在自動調整模型行為以適應複雜任務的有效性。

結論與未來展望

#自我博弈偏好最佳化(SPPO)為大語言模型提供了一個全新的最佳化路徑,不僅提高了模型的生成質量,更重要的是提高了模型與人類偏好的對齊度。

隨著技術的不斷發展和優化,預計SPPO及其衍生技術將在人工智慧的可持續發展和社會應用中發揮更大的作用,為構建更智慧和負責任的AI系統鋪路。

以上是人類偏好就是尺! SPPO對齊技術讓大語言模型左右互搏、自我博弈的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能