搜尋
首頁科技週邊人工智慧RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

不管你是身處AI 圈還是其他領域,或多或少的都用過大語言模型(LLM),當大家都在讚歎LLM 帶來的各種變革時,大模型的一些短板逐漸暴露出來。

例如,前段時間,Google DeepMind 發現LLM 普遍存在「奉承( sycophantic )」人類的行為,有時人類使用者的觀點客觀上不正確,模型也會調整自己的回應來遵循使用者的觀點。就像下圖所展示的,使用者告訴模型 1 1=956446,然後模型遵從人類指令,認為這個答案是對的。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免圖源https://arxiv.org/abs/2308.03958

實際上,這種現象普遍存在於許多AI 模型中,原因出在哪裡呢?來自 AI 新創公司 Anthropic 的研究者對這一現象進行了分析,他們認為「奉承」是 RLHF 模型的普遍行為,部分原因是人類偏好「奉承」響應導致的。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

論文網址:https://arxiv.org/pdf/2310.13548.pdf

接下來我們看看具體的研究過程。

像是 GPT-4 等 AI 助手,都是經過訓練才能產生比較準確的答案,其中絕大多數用到了 RLHF。使用 RLHF 微調語言模型可以提高模型的輸出質量,而這些質量由人類進行評估。然而,有研究認為基於人類偏好判斷的訓練方式並不可取,模型雖然能產生吸引人類評估者的輸出,但實際上是有缺陷或不正確的。同時,最近的工作也表明,經過 RLHF 訓練的模型往往會提供與使用者一致的答案。

為了更好的了解這一現象,該研究首先探索了具有SOTA 性能的AI 助手是否在各種現實環境中會提供「奉承」的模型響應,結果發現5 個經過RLHF 訓練的SOTA AI 助手在自由格式文字產生任務中出現了一致的「奉承」模式。由於「奉承」似乎是 RLHF 訓練模型的普遍行為,因此本文也探討了人類偏好在此類行為中的作用。

本文也對偏好資料中存在的「奉承」是否會導致RLHF 模型中的「奉承」進行了探索,發現更多的最佳化會增加某些形式的「奉承」,但會減少其他形式的「奉承」。

大模型的「奉承」 程度及影響

為了評估大模型的「奉承」程度,並分析對現實生成有何影響,該研究對Anthropic、OpenAI 和Meta 發布的大模型的“奉承”程度進行了基準測試。

具體來說,研究提出了 SycophancyEval 評估基準。 SycophancyEval 對現有大模型「奉承」評估基準進行了擴展。模型方面,研究具體測試了5 個模型,包括:claude-1.3 (Anthropic, 2023)、claude-2.0 (Anthropic, 2023)、GPT-3.5-turbo (OpenAI, 2022)、GPT-4 (OpenAI, 2023 )、llama-2-70b-chat (Touvron et al., 2023)。

奉承使用者偏好

#當使用者要求大模型對一段辯論文本提供自由形式的回饋時,理論上講,論證的品質僅取決於論證的內容,然而該研究發現大模型會對使用者喜歡的論點提供更積極的回饋,並對使用者不喜歡的論點提供更負面的回饋。

如下圖 1 所示,大模型對文字段落的回饋不僅取決於文字內容,也受到使用者偏好的影響。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

很容易被左右

#該研究發現即使大模型提供了準確的答案並表示它們對這些答案充滿信心,它們也經常在用戶提出質疑時修改答案,提供錯誤的資訊。因此,「奉承」會損害大模型反應的可信度和可靠性。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

#

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

提供符合使用者信念的答案

#該研究發現,對於開放式問答任務,大模型會傾向於提供與使用者信念一致的答案。例如,在下圖 3 中,這種「奉承」行為讓 LLaMA 2 準確率降低了多達 27%。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

模仿使用者的錯誤

為了測試大模型是否會重複使用者的錯誤,研究探討大模型是否會錯誤地給出詩歌的作者。如下圖 4 所示,即使大模型可以回答出詩歌正確的作者,也會因使用者給予錯誤訊息而回答錯誤。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

理解語言模型中的阿諛奉承

該研究發現在不同的現實環境中多個大模型都展現出一致的「奉承」行為,因此推測這可能是RLHF 微調造成的。因此,該研究分析了用於訓練偏好模型 (preference model,PM) 的人類偏好資料。

如下圖 5 所示,該研究分析了人類偏好數據,探討了哪些特徵可以預測使用者偏好。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

實驗結果表明,在其他條件相同的情況下,模型回應中的「奉承」行為會增加人類更喜歡該反應的可能性。而用於訓練大模型的偏好模型(PM)對大模型「奉承」行為的影響是複雜的,如下圖 6 所示。


RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

最後,研究者探究了人類和PM(PREFERENCE MODELS)模型傾向於真實回答的頻率是多少?結果發現,人類和 PM 模型更傾向於奉承的回應,而不是正確的回應。

PM 結果:在 95% 的情況下,奉承的回應比真實回應更受歡迎(圖 7a)。研究還發現,PM 幾乎有一半的時間(45%)更喜歡奉承的回應。

人類回饋結果:儘管人類傾向於更誠實的回應而不是奉承的回應,但隨著難度(misconception)的增加,他們選擇可靠性答案的機率會降低(圖7b)。儘管匯總多個人的偏好可以提高反饋的質量,但這些結果表明,僅通過使用非專家的人類反饋來完全消除奉承可能具有挑戰性。

圖 7c 表明,儘管針對 Claude 2 PM 的最佳化減少了奉承,但效果並不明顯。

RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免

以了解更多內容,請查看原始論文。

以上是RLHF模型普遍存在「阿諛奉承」,從Claude到GPT-4無一倖免的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器