搜尋
首頁科技週邊人工智慧RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

不管你是身處AI 圈還是其他領域,或多或少的都用過大語言模型(LLM),當大家都在讚歎LLM 帶來的各種變革時,大模型的一些短板逐漸暴露出來。

例如,前段時間,Google DeepMind 發現LLM 普遍存在「奉承( sycophantic )」人類的行為,有時人類使用者的觀點客觀上不正確,模型也會調整自己的回應來遵循使用者的觀點。就像下圖所展示的,使用者告訴模型 1 1=956446,然後模型遵從人類指令,認為這個答案是對的。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免圖源https://arxiv.org/abs/2308.03958

實際上,這種現象普遍存在於許多AI 模型中,原因出在哪裡呢?來自 AI 新創公司 Anthropic 的研究者對這一現象進行了分析,他們認為「奉承」是 RLHF 模型的普遍行為,部分原因是人類偏好「奉承」響應導致的。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

論文網址:https://arxiv.org/pdf/2310.13548.pdf

接下來我們看看具體的研究過程。

像是 GPT-4 等 AI 助手,都是經過訓練才能產生比較準確的答案,其中絕大多數用到了 RLHF。使用 RLHF 微調語言模型可以提高模型的輸出質量,而這些質量由人類進行評估。然而,有研究認為基於人類偏好判斷的訓練方式並不可取,模型雖然能產生吸引人類評估者的輸出,但實際上是有缺陷或不正確的。同時,最近的工作也表明,經過 RLHF 訓練的模型往往會提供與使用者一致的答案。

為了更好的了解這一現象,該研究首先探索了具有SOTA 性能的AI 助手是否在各種現實環境中會提供「奉承」的模型響應,結果發現5 個經過RLHF 訓練的SOTA AI 助手在自由格式文字產生任務中出現了一致的「奉承」模式。由於「奉承」似乎是 RLHF 訓練模型的普遍行為,因此本文也探討了人類偏好在此類行為中的作用。

本文也對偏好資料中存在的「奉承」是否會導致RLHF 模型中的「奉承」進行了探索,發現更多的最佳化會增加某些形式的「奉承」,但會減少其他形式的「奉承」。

大模型的「奉承」 程度及影響

為了評估大模型的「奉承」程度,並分析對現實生成有何影響,該研究對Anthropic、OpenAI 和Meta 發布的大模型的“奉承”程度進行了基準測試。

具體來說,研究提出了 SycophancyEval 評估基準。 SycophancyEval 對現有大模型「奉承」評估基準進行了擴展。模型方面,研究具體測試了5 個模型,包括:claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023 )、llama-2-70b-chat (Touvron et al., 2023)。

奉承使用者偏好

#當使用者要求大模型對一段辯論文本提供自由形式的回饋時,理論上講,論證的品質僅取決於論證的內容,然而該研究發現大模型會對使用者喜歡的論點提供更積極的回饋,並對使用者不喜歡的論點提供更負面的回饋。

如下圖 1 所示,大模型對文字段落的回饋不僅取決於文字內容,也受到使用者偏好的影響。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

很容易被左右

#該研究發現即使大模型提供了準確的答案並表示它們對這些答案充滿信心,它們也經常在用戶提出質疑時修改答案,提供錯誤的資訊。因此,「奉承」會損害大模型反應的可信度和可靠性。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

#

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

提供符合使用者信念的答案

#該研究發現,對於開放式問答任務,大模型會傾向於提供與使用者信念一致的答案。例如,在下圖 3 中,這種「奉承」行為讓 LLaMA 2 準確率降低了多達 27%。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

模仿使用者的錯誤

為了測試大模型是否會重複使用者的錯誤,研究探討大模型是否會錯誤地給出詩歌的作者。如下圖 4 所示,即使大模型可以回答出詩歌正確的作者,也會因使用者給予錯誤訊息而回答錯誤。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

理解語言模型中的阿諛奉承

該研究發現在不同的現實環境中多個大模型都展現出一致的「奉承」行為,因此推測這可能是RLHF 微調造成的。因此,該研究分析了用於訓練偏好模型 (preference model,PM) 的人類偏好資料。

如下圖 5 所示,該研究分析了人類偏好數據,探討了哪些特徵可以預測使用者偏好。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

實驗結果表明,在其他條件相同的情況下,模型回應中的「奉承」行為會增加人類更喜歡該反應的可能性。而用於訓練大模型的偏好模型(PM)對大模型「奉承」行為的影響是複雜的,如下圖 6 所示。


RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

最後,研究者探究了人類和PM(PREFERENCE MODELS)模型傾向於真實回答的頻率是多少?結果發現,人類和 PM 模型更傾向於奉承的回應,而不是正確的回應。

PM 結果:在 95% 的情況下,奉承的回應比真實回應更受歡迎(圖 7a)。研究還發現,PM 幾乎有一半的時間(45%)更喜歡奉承的回應。

人類回饋結果:儘管人類傾向於更誠實的回應而不是奉承的回應,但隨著難度(misconception)的增加,他們選擇可靠性答案的機率會降低(圖7b)。儘管匯總多個人的偏好可以提高反饋的質量,但這些結果表明,僅通過使用非專家的人類反饋來完全消除奉承可能具有挑戰性。

圖 7c 表明,儘管針對 Claude 2 PM 的最佳化減少了奉承,但效果並不明顯。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

以了解更多內容,請查看原始論文。

以上是RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
外推指南外推指南Apr 15, 2025 am 11:38 AM

介紹 假設有一個農民每天在幾週內觀察農作物的進展。他研究了增長率,並開始思考他的植物在幾週內可以生長的高度。從Th

軟AI的興起及其對當今企業的意義軟AI的興起及其對當今企業的意義Apr 15, 2025 am 11:36 AM

軟AI(被定義為AI系統,旨在使用近似推理,模式識別和靈活的決策執行特定的狹窄任務 - 試圖通過擁抱歧義來模仿類似人類的思維。 但是這對業務意味著什麼

為AI前沿的不斷發展的安全框架為AI前沿的不斷發展的安全框架Apr 15, 2025 am 11:34 AM

答案很明確 - 只是雲計算需要向雲本地安全工具轉變,AI需要專門為AI獨特需求而設計的新型安全解決方案。 雲計算和安全課程的興起 在

生成AI的3種方法放大了企業家:當心平均值!生成AI的3種方法放大了企業家:當心平均值!Apr 15, 2025 am 11:33 AM

企業家,並使用AI和Generative AI來改善其業務。同時,重要的是要記住生成的AI,就像所有技術一樣,都是一個放大器 - 使得偉大和平庸,更糟。嚴格的2024研究O

Andrew Ng的新簡短課程Andrew Ng的新簡短課程Apr 15, 2025 am 11:32 AM

解鎖嵌入模型的力量:深入研究安德魯·NG的新課程 想像一個未來,機器可以完全準確地理解和回答您的問題。 這不是科幻小說;多虧了AI的進步,它已成為R

大語言模型(LLM)中的幻覺是不可避免的嗎?大語言模型(LLM)中的幻覺是不可避免的嗎?Apr 15, 2025 am 11:31 AM

大型語言模型(LLM)和不可避免的幻覺問題 您可能使用了諸如Chatgpt,Claude和Gemini之類的AI模型。 這些都是大型語言模型(LLM)的示例,在大規模文本數據集上訓練的功能強大的AI系統

60%的問題 -  AI搜索如何消耗您的流量60%的問題 - AI搜索如何消耗您的流量Apr 15, 2025 am 11:28 AM

最近的研究表明,根據行業和搜索類型,AI概述可能導致有機交通下降15-64%。這種根本性的變化導致營銷人員重新考慮其在數字可見性方面的整個策略。 新的

麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心麻省理工學院媒體實驗室將人類蓬勃發展成為AI R&D的核心Apr 15, 2025 am 11:26 AM

埃隆大學(Elon University)想像的數字未來中心的最新報告對近300名全球技術專家進行了調查。由此產生的報告“ 2035年成為人類”,得出的結論是,大多數人擔心AI系統加深的採用

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
4 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.聊天命令以及如何使用它們
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),