検索
ホームページテクノロジー周辺機器AI「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

AI サークルに所属しているか他の分野に所属しているかに関係なく、多かれ少なかれ大規模言語モデル (LLM) を使用したことがあります。LLM によってもたらされたさまざまな変化を誰もが賞賛しているとき、いくつかの大きな変化モデルの欠点が徐々に明らかになります。

たとえば、少し前に、Google DeepMind は、LLM が一般に人間の「お調子者」行動を示すこと、つまり、人間のユーザーの見解が客観的に間違っている場合があり、モデルも同様であることを発見しました。ユーザーの視点に従うように独自の応答を調整します。以下の図に示すように、ユーザーがモデルに 1 1=956446 を伝えると、モデルは人間の指示に従い、この答えが正しいと信じます。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません##画像ソース https://arxiv.org/abs/2308.03958

実際、この現象は多くの地域で一般的です。 AIモデル、その理由は何ですか? AI スタートアップ Anthropic の研究者らはこの現象を分析し、「お世辞」は RLHF モデルの一般的な行動であり、これは人間が「お世辞」の反応を好むことが部分的に原因であると考えています。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

論文アドレス: https://arxiv.org/pdf/2310.13548.pdf

接続具体的な研究プロセスを見てみましょう。

GPT-4 などの AI アシスタントは、より正確な回答を生成するようにトレーニングされており、その大部分が RLHF を使用しています。 RLHF を使用して言語モデルを微調整すると、人間によって評価されるモデルの出力の品質が向上します。このモデルは人間の評価者にとって魅力的な出力を生成できますが、実際には欠陥があるか、正しくありません。同時に、最近の研究では、RLHF でトレーニングされたモデルがユーザーと一致する回答を提供する傾向があることも示されています。

この現象をより深く理解するために、この研究ではまず、SOTA パフォーマンスを備えた AI アシスタントがさまざまな現実世界の環境で「お世辞」モデル応答を提供するかどうかを調査しました。 RLHF でトレーニングを受けた SOTA AI アシスタントは、自由形式のテキスト生成タスクにおいて一貫した「お世辞」パターンを示しました。お世辞は RLHF でトレーニングされたモデルに一般的な行動であると思われるため、この記事ではこのタイプの行動における人間の好みの役割についても調査します。

この記事では、嗜好データに存在する「お世辞」が RLHF モデルの「お世辞」につながるかどうかも調査し、最適化を進めると一部の形式の「お世辞」が増加することがわかりました。」 、しかし、他の形の「お世辞」は減少します。

大型モデルの「お世辞」の程度とその影響

大型モデルの「お世辞」の度合いを評価し分析するには現実生成への影響​​ Impact では、この研究では、Anthropic、OpenAI、Meta によってリリースされた大規模モデルの「お世辞」の程度をベンチマークしました。

具体的には、この研究では SycophancyEval 評価ベンチマークが提案されています。 SycophancyEval は、既存の大規模モデルの「お世辞」評価ベンチマークを拡張します。モデルに関して、この研究では特に claude-1.3 (Anthropic、2023)、claude-2.0 (Anthropic、2023)、GPT-3.5-turbo (OpenAI、2022)、GPT-4 (OpenAI、2023) を含む 5 つのモデルをテストしました。 )、llama-2-70b-chat(Touvron et al.、2023)。

ユーザーの好みに合わせる

ユーザーが大規模なモデルに、作品に関する自由形式のフィードバックを提供するよう依頼する場合の理論技術的には、議論の質は議論の内容によってのみ左右されますが、研究では、大規模モデルは、ユーザーが好む議論にはより肯定的なフィードバックを与え、ユーザーが嫌いな議論にはより否定的なフィードバックを与えることがわかりました。

以下の図 1 に示すように、テキスト段落に対する大規模モデルのフィードバックは、テキストの内容に依存するだけでなく、ユーザーの好みにも影響されます。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

振り回されやすい

調査によると、たとえ規模が大きくてもモデルは正確な回答を提供し、その回答に対する自信を表明しますが、ユーザーが質問すると回答を変更したり、誤った情報を提供したりすることがよくあります。したがって、「お世辞」は大規模なモデル応答の信頼性と信頼性を損なう可能性があります。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

ユーザーの信念と一致する回答を提供する

調査では、次のことが判明しました。自由回答型の質問と回答のタスクでは、大規模なモデルはユーザーの信念と一致する回答を提供する傾向があります。たとえば、以下の図 3 では、この「お世辞」動作により、LLaMA 2 の精度が 27% も低下しました。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

#ユーザーエラーを模倣する

For To大規模なモデルがユーザーのエラーを繰り返すかどうかをテストするため、この研究では、大規模なモデルが誤って詩の作者を与えているかどうかを調査します。以下の図 4 に示すように、大規模モデルが詩の正しい作者を答えることができたとしても、ユーザーが間違った情報を与えたため、間違った答えを返すことになります。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

言語モデルにおけるお世辞の理解

研究では、現実世界のさまざまな設定において、より多くのことが判明しました。大きなモデルは一貫した「お世辞」動作を示すため、これは RLHF の微調整によって引き起こされる可能性があると推測されます。したがって、この研究では、嗜好モデル (PM) をトレーニングするために使用される人間の嗜好データを分析します。

以下の図 5 に示すように、この研究では人間の好みのデータを分析し、どの機能がユーザーの好みを予測できるかを調査しました。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

実験結果は、他の条件が等しい場合、モデルの応答における「お世辞」行動により、人間がその行動を好む可能性が高まることを示しています。反応、セックス。以下の図 6 に示すように、大規模モデルのトレーニングに使用される選好モデル (PM) は、大規模モデルの「お世辞」動作に複雑な影響を与えます。


「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

最後に、研究者らは、人間と PM (優先モデル) モデルがどのくらいの頻度で、どのようにして真実に答える傾向があるかを調査しました。多くの?人間と PM モデルは、正しい応答よりもお世辞の応答を好むことが判明しました。

PM 結果: 95% のケースで、真実の応答よりもお世辞の応答が好まれました (図 7a)。この調査では、PM がほぼ半分 (45%) の時間でお世辞を言う反応を好むこともわかりました。

人間のフィードバック結果: 人間はお世辞よりも正直に反応する傾向がありますが、難易度 (誤解) が増すにつれて、信頼できる答えを選択する確率は減少します (図 7b)。複数の人の好みを集約することでフィードバックの質は向上しますが、これらの結果は、専門家ではない人間のフィードバックを使用するだけでお世辞を完全に排除するのは難しい可能性があることを示唆しています。

図 7c は、Claude 2 PM の最適化によりお世辞は減少しますが、その効果は顕著ではないことを示しています。

「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいません

詳細については、原文をご覧ください。

以上が「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいませんの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は51CTO.COMで複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
SQLケースステートメント:基本から高度な手法までSQLケースステートメント:基本から高度な手法までApr 18, 2025 am 09:31 AM

データの課題:正確な洞察のためのSQLのケースステートメントのマスター あなたがデータ愛好家を持っているとき、誰が弁護士を必要としますか? データアナリスト、科学者、および膨大なデータの世界の全員が独自の複雑な課題に直面し、システム機能FLAを確保する

迅速なエンジニアリングにおける知識の連鎖の力とは何ですか?迅速なエンジニアリングにおける知識の連鎖の力とは何ですか?Apr 18, 2025 am 09:30 AM

AIの知識チェーンの力を活用:迅速なエンジニアリングに深く潜る 人工知能(AI)はあなたの質問を理解するだけでなく、洞察に満ちた答えを提供するために膨大な量の知識を織り込むことができることを知っていますか?

AIはワークライフバランスを達成するのに役立ちますか? - 分析VidhyaAIはワークライフバランスを達成するのに役立ちますか? - 分析VidhyaApr 18, 2025 am 09:27 AM

導入 Joanna Maciejewskaは最近、Xに関する洞察に満ちた観察を共有しました。 AIプッシュの最大の課題は? それは誤った方向です。 AIに洗濯と料理を扱ってもらいたいので、アートとライティングに集中できるようにしてください。 - ジョアンナ・マ

Llama 3.1を使用したツールコールのガイドLlama 3.1を使用したツールコールのガイドApr 18, 2025 am 09:26 AM

Meta'sLlama3.1:オープンソースLLM機能に深く飛び込む メタは、オープンソースの大手言語モデル(LLMS)で引き続き充電をリードしています。 LlamaからLlama 2、Llama 3、および現在のLlama 3.1に進化するLlamaファミリーは、へのコミットメントを示しています

SPCチャートとは何ですか? - 分析VidhyaSPCチャートとは何ですか? - 分析VidhyaApr 18, 2025 am 09:24 AM

導入 統計プロセス制御(SPC)チャートは、品質管理に不可欠なツールであり、組織がプロセスを監視、制御、改善できるようにします。 統計的方法を適用することにより、SPCチャートはデータのバリエーションを視覚的に表します

トップ30 MySQLインタビューの質問 -  Analytics Vidhyaトップ30 MySQLインタビューの質問 - Analytics VidhyaApr 18, 2025 am 09:23 AM

このガイドは、初心者、中級、高度なレベルにまたがる30の質問をカバーすることにより、MySQLインタビューに備えています。 データ管理と分析の重要なツールであるMySQLは、理論的概念と実用的なクエリの例を通じて検討されています

非リレーショナルデータベースとリレーショナルデータベース非リレーショナルデータベースとリレーショナルデータベースApr 18, 2025 am 09:22 AM

適切なデータベースの選択:リレーショナルと非関係 賑やかなカフェを管理することを想像してください:無数の注文、在庫レベルの変動、および要求の厳しい顧客を想像してください。 効率的なツールは成功に不可欠です。 同様に、大規模なデータセットを処理するにはcが必要です

2025年のトップ6ヒューマノイドロボット - 分析Vidhya2025年のトップ6ヒューマノイドロボット - 分析VidhyaApr 18, 2025 am 09:16 AM

ヒューマノイドロボット:未来を垣間見る 何世紀にもわたって、複雑な時計仕掛けのメカニズムから洗練されたAI駆動の作品まで、ヒューマノイドロボットの概念が私たちの想像力を捉えました。 ジャック・デ・ヴォーカンソンのメカニックなどの初期の例

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境