検索
ホームページテクノロジー周辺機器AI「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

AI サークルに所属しているか他の分野に所属しているかに関係なく、多かれ少なかれ大規模言語モデル (LLM) を使用したことがあります。LLM によってもたらされたさまざまな変化を誰もが賞賛しているとき、いくつかの大きな変化モデルの欠点が徐々に明らかになります。

たとえば、少し前に、Google DeepMind は、LLM が一般に人間の「お調子者」行動を示すこと、つまり、人間のユーザーの見解が客観的に間違っている場合があり、モデルも同様であることを発見しました。ユーザーの視点に従うように独自の応答を調整します。以下の図に示すように、ユーザーがモデルに 1 1=956446 を伝えると、モデルは人間の指示に従い、この答えが正しいと信じます。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません##画像ソース https://arxiv.org/abs/2308.03958

実際、この現象は多くの地域で一般的です。 AIモデル、その理由は何ですか? AI スタートアップ Anthropic の研究者らはこの現象を分析し、「お世辞」は RLHF モデルの一般的な行動であり、これは人間が「お世辞」の反応を好むことが部分的に原因であると考えています。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

論文アドレス: https://arxiv.org/pdf/2310.13548.pdf

接続具体的な研究プロセスを見てみましょう。

GPT-4 などの AI アシスタントは、より正確な回答を生成するようにトレーニングされており、その大部分が RLHF を使用しています。 RLHF を使用して言語モデルを微調整すると、人間によって評価されるモデルの出力の品質が向上します。このモデルは人間の評価者にとって魅力的な出力を生成できますが、実際には欠陥があるか、正しくありません。同時に、最近の研究では、RLHF でトレーニングされたモデルがユーザーと一致する回答を提供する傾向があることも示されています。

この現象をより深く理解するために、この研究ではまず、SOTA パフォーマンスを備えた AI アシスタントがさまざまな現実世界の環境で「お世辞」モデル応答を提供するかどうかを調査しました。 RLHF でトレーニングを受けた SOTA AI アシスタントは、自由形式のテキスト生成タスクにおいて一貫した「お世辞」パターンを示しました。お世辞は RLHF でトレーニングされたモデルに一般的な行動であると思われるため、この記事ではこのタイプの行動における人間の好みの役割についても調査します。

この記事では、嗜好データに存在する「お世辞」が RLHF モデルの「お世辞」につながるかどうかも調査し、最適化を進めると一部の形式の「お世辞」が増加することがわかりました。」 、しかし、他の形の「お世辞」は減少します。

大型モデルの「お世辞」の程度とその影響

大型モデルの「お世辞」の度合いを評価し分析するには現実生成への影響​​ Impact では、この研究では、Anthropic、OpenAI、Meta によってリリースされた大規模モデルの「お世辞」の程度をベンチマークしました。

具体的には、この研究では SycophancyEval 評価ベンチマークが提案されています。 SycophancyEval は、既存の大規模モデルの「お世辞」評価ベンチマークを拡張します。モデルに関して、この研究では特に claude-1.3 (Anthropic、2023)、claude-2.0 (Anthropic、2023)、GPT-3.5-turbo (OpenAI、2022)、GPT-4 (OpenAI、2023) を含む 5 つのモデルをテストしました。 )、llama-2-70b-chat(Touvron et al.、2023)。

ユーザーの好みに合わせる

ユーザーが大規模なモデルに、作品に関する自由形式のフィードバックを提供するよう依頼する場合の理論技術的には、議論の質は議論の内容によってのみ左右されますが、研究では、大規模モデルは、ユーザーが好む議論にはより肯定的なフィードバックを与え、ユーザーが嫌いな議論にはより否定的なフィードバックを与えることがわかりました。

以下の図 1 に示すように、テキスト段落に対する大規模モデルのフィードバックは、テキストの内容に依存するだけでなく、ユーザーの好みにも影響されます。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

振り回されやすい

調査によると、たとえ規模が大きくてもモデルは正確な回答を提供し、その回答に対する自信を表明しますが、ユーザーが質問すると回答を変更したり、誤った情報を提供したりすることがよくあります。したがって、「お世辞」は大規模なモデル応答の信頼性と信頼性を損なう可能性があります。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

ユーザーの信念と一致する回答を提供する

調査では、次のことが判明しました。自由回答型の質問と回答のタスクでは、大規模なモデルはユーザーの信念と一致する回答を提供する傾向があります。たとえば、以下の図 3 では、この「お世辞」動作により、LLaMA 2 の精度が 27% も低下しました。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

#ユーザーエラーを模倣する

For To大規模なモデルがユーザーのエラーを繰り返すかどうかをテストするため、この研究では、大規模なモデルが誤って詩の作者を与えているかどうかを調査します。以下の図 4 に示すように、大規模モデルが詩の正しい作者を答えることができたとしても、ユーザーが間違った情報を与えたため、間違った答えを返すことになります。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

言語モデルにおけるお世辞の理解

研究では、現実世界のさまざまな設定において、より多くのことが判明しました。大きなモデルは一貫した「お世辞」動作を示すため、これは RLHF の微調整によって引き起こされる可能性があると推測されます。したがって、この研究では、嗜好モデル (PM) をトレーニングするために使用される人間の嗜好データを分析します。

以下の図 5 に示すように、この研究では人間の好みのデータを分析し、どの機能がユーザーの好みを予測できるかを調査しました。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

実験結果は、他の条件が等しい場合、モデルの応答における「お世辞」行動により、人間がその行動を好む可能性が高まることを示しています。反応、セックス。以下の図 6 に示すように、大規模モデルのトレーニングに使用される選好モデル (PM) は、大規模モデルの「お世辞」動作に複雑な影響を与えます。


「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

最後に、研究者らは、人間と PM (優先モデル) モデルがどのくらいの頻度で、どのようにして真実に答える傾向があるかを調査しました。多くの?人間と PM モデルは、正しい応答よりもお世辞の応答を好むことが判明しました。

PM 結果: 95% のケースで、真実の応答よりもお世辞の応答が好まれました (図 7a)。この調査では、PM がほぼ半分 (45%) の時間でお世辞を言う反応を好むこともわかりました。

人間のフィードバック結果: 人間はお世辞よりも正直に反応する傾向がありますが、難易度 (誤解) が増すにつれて、信頼できる答えを選択する確率は減少します (図 7b)。複数の人の好みを集約することでフィードバックの質は向上しますが、これらの結果は、専門家ではない人間のフィードバックを使用するだけでお世辞を完全に排除するのは難しい可能性があることを示唆しています。

図 7c は、Claude 2 PM の最適化によりお世辞は減少しますが、その効果は顕著ではないことを示しています。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

詳細については、原文をご覧ください。

以上が「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいませんの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
外挿の包括的なガイド外挿の包括的なガイドApr 15, 2025 am 11:38 AM

導入 数週間で作物の進行を毎日観察する農民がいるとします。彼は成長率を見て、さらに数週間で彼の植物がどれほど背が高くなるかについて熟考し始めます。 thから

ソフトAIの台頭とそれが今日のビジネスにとって何を意味するかソフトAIの台頭とそれが今日のビジネスにとって何を意味するかApr 15, 2025 am 11:36 AM

ソフトAIは、おおよその推論、パターン認識、柔軟な意思決定を使用して特定の狭いタスクを実行するように設計されたAIシステムとして定義されていますが、曖昧さを受け入れることにより、人間のような思考を模倣しようとします。 しかし、これはBusineにとって何を意味しますか

AIフロンティア向けの進化するセキュリティフレームワークAIフロンティア向けの進化するセキュリティフレームワークApr 15, 2025 am 11:34 AM

答えは明確です。クラウドコンピューティングには、クラウドネイティブセキュリティツールへの移行が必要であるため、AIはAIの独自のニーズに特化した新しい種類のセキュリティソリューションを要求します。 クラウドコンピューティングとセキュリティレッスンの台頭 で

3つの方法生成AIは起業家を増幅します:平均に注意してください!3つの方法生成AIは起業家を増幅します:平均に注意してください!Apr 15, 2025 am 11:33 AM

起業家とAIと生成AIを使用して、ビジネスを改善します。同時に、すべてのテクノロジーと同様に、生成的AIが増幅器であることを覚えておくことが重要です。厳密な2024年の研究o

Andrew Ngによる埋め込みモデルに関する新しいショートコースAndrew Ngによる埋め込みモデルに関する新しいショートコースApr 15, 2025 am 11:32 AM

埋め込みモデルのパワーのロックを解除する:Andrew Ngの新しいコースに深く飛び込む マシンがあなたの質問を完全に正確に理解し、応答する未来を想像してください。 これはサイエンスフィクションではありません。 AIの進歩のおかげで、それはRになりつつあります

大規模な言語モデル(LLMS)の幻覚は避けられませんか?大規模な言語モデル(LLMS)の幻覚は避けられませんか?Apr 15, 2025 am 11:31 AM

大規模な言語モデル(LLM)と幻覚の避けられない問題 ChatGpt、Claude、GeminiなどのAIモデルを使用した可能性があります。 これらはすべて、大規模なテキストデータセットでトレーニングされた大規模な言語モデル(LLMS)、強力なAIシステムの例です。

60%の問題 -  AI検索がトラフィックを排出す​​る方法60%の問題 - AI検索がトラフィックを排出す​​る方法Apr 15, 2025 am 11:28 AM

最近の研究では、AIの概要により、産業と検索の種類に基づいて、オーガニックトラフィックがなんと15〜64%減少する可能性があることが示されています。この根本的な変化により、マーケティング担当者はデジタルの可視性に関する戦略全体を再考することになっています。 新しい

AI R&Dの中心に人間が繁栄するようにするMITメディアラボAI R&Dの中心に人間が繁栄するようにするMITメディアラボApr 15, 2025 am 11:26 AM

Elon UniversityがDigital Future Centerを想像している最近のレポートは、300人近くのグローバルテクノロジーの専門家を調査しました。結果のレポート「2035年に人間である」は、ほとんどがTを超えるAIシステムの採用を深めることを懸念していると結論付けました。

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

mPDF

mPDF

mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

AtomエディタMac版ダウンロード

AtomエディタMac版ダウンロード

最も人気のあるオープンソースエディター

EditPlus 中国語クラック版

EditPlus 中国語クラック版

サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

PhpStorm Mac バージョン

PhpStorm Mac バージョン

最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

WebStorm Mac版

WebStorm Mac版

便利なJavaScript開発ツール