AI サークルに所属しているか他の分野に所属しているかに関係なく、多かれ少なかれ大規模言語モデル (LLM) を使用したことがあります。LLM によってもたらされたさまざまな変化を誰もが賞賛しているとき、いくつかの大きな変化モデルの欠点が徐々に明らかになります。
たとえば、少し前に、Google DeepMind は、LLM が一般に人間の「お調子者」行動を示すこと、つまり、人間のユーザーの見解が客観的に間違っている場合があり、モデルも同様であることを発見しました。ユーザーの視点に従うように独自の応答を調整します。以下の図に示すように、ユーザーがモデルに 1 1=956446 を伝えると、モデルは人間の指示に従い、この答えが正しいと信じます。
##画像ソース https://arxiv.org/abs/2308.03958
実際、この現象は多くの地域で一般的です。 AIモデル、その理由は何ですか? AI スタートアップ Anthropic の研究者らはこの現象を分析し、「お世辞」は RLHF モデルの一般的な行動であり、これは人間が「お世辞」の反応を好むことが部分的に原因であると考えています。
論文アドレス: https://arxiv.org/pdf/2310.13548.pdf
接続具体的な研究プロセスを見てみましょう。
GPT-4 などの AI アシスタントは、より正確な回答を生成するようにトレーニングされており、その大部分が RLHF を使用しています。 RLHF を使用して言語モデルを微調整すると、人間によって評価されるモデルの出力の品質が向上します。このモデルは人間の評価者にとって魅力的な出力を生成できますが、実際には欠陥があるか、正しくありません。同時に、最近の研究では、RLHF でトレーニングされたモデルがユーザーと一致する回答を提供する傾向があることも示されています。
この現象をより深く理解するために、この研究ではまず、SOTA パフォーマンスを備えた AI アシスタントがさまざまな現実世界の環境で「お世辞」モデル応答を提供するかどうかを調査しました。 RLHF でトレーニングを受けた SOTA AI アシスタントは、自由形式のテキスト生成タスクにおいて一貫した「お世辞」パターンを示しました。お世辞は RLHF でトレーニングされたモデルに一般的な行動であると思われるため、この記事ではこのタイプの行動における人間の好みの役割についても調査します。
この記事では、嗜好データに存在する「お世辞」が RLHF モデルの「お世辞」につながるかどうかも調査し、最適化を進めると一部の形式の「お世辞」が増加することがわかりました。」 、しかし、他の形の「お世辞」は減少します。
大型モデルの「お世辞」の程度とその影響
大型モデルの「お世辞」の度合いを評価し分析するには現実生成への影響 Impact では、この研究では、Anthropic、OpenAI、Meta によってリリースされた大規模モデルの「お世辞」の程度をベンチマークしました。
具体的には、この研究では SycophancyEval 評価ベンチマークが提案されています。 SycophancyEval は、既存の大規模モデルの「お世辞」評価ベンチマークを拡張します。モデルに関して、この研究では特に claude-1.3 (Anthropic、2023)、claude-2.0 (Anthropic、2023)、GPT-3.5-turbo (OpenAI、2022)、GPT-4 (OpenAI、2023) を含む 5 つのモデルをテストしました。 )、llama-2-70b-chat(Touvron et al.、2023)。
ユーザーの好みに合わせる
ユーザーが大規模なモデルに、作品に関する自由形式のフィードバックを提供するよう依頼する場合の理論技術的には、議論の質は議論の内容によってのみ左右されますが、研究では、大規模モデルは、ユーザーが好む議論にはより肯定的なフィードバックを与え、ユーザーが嫌いな議論にはより否定的なフィードバックを与えることがわかりました。
以下の図 1 に示すように、テキスト段落に対する大規模モデルのフィードバックは、テキストの内容に依存するだけでなく、ユーザーの好みにも影響されます。
振り回されやすい
調査によると、たとえ規模が大きくてもモデルは正確な回答を提供し、その回答に対する自信を表明しますが、ユーザーが質問すると回答を変更したり、誤った情報を提供したりすることがよくあります。したがって、「お世辞」は大規模なモデル応答の信頼性と信頼性を損なう可能性があります。
ユーザーの信念と一致する回答を提供する
調査では、次のことが判明しました。自由回答型の質問と回答のタスクでは、大規模なモデルはユーザーの信念と一致する回答を提供する傾向があります。たとえば、以下の図 3 では、この「お世辞」動作により、LLaMA 2 の精度が 27% も低下しました。
#ユーザーエラーを模倣する
For To大規模なモデルがユーザーのエラーを繰り返すかどうかをテストするため、この研究では、大規模なモデルが誤って詩の作者を与えているかどうかを調査します。以下の図 4 に示すように、大規模モデルが詩の正しい作者を答えることができたとしても、ユーザーが間違った情報を与えたため、間違った答えを返すことになります。
言語モデルにおけるお世辞の理解
研究では、現実世界のさまざまな設定において、より多くのことが判明しました。大きなモデルは一貫した「お世辞」動作を示すため、これは RLHF の微調整によって引き起こされる可能性があると推測されます。したがって、この研究では、嗜好モデル (PM) をトレーニングするために使用される人間の嗜好データを分析します。
以下の図 5 に示すように、この研究では人間の好みのデータを分析し、どの機能がユーザーの好みを予測できるかを調査しました。
実験結果は、他の条件が等しい場合、モデルの応答における「お世辞」行動により、人間がその行動を好む可能性が高まることを示しています。反応、セックス。以下の図 6 に示すように、大規模モデルのトレーニングに使用される選好モデル (PM) は、大規模モデルの「お世辞」動作に複雑な影響を与えます。
最後に、研究者らは、人間と PM (優先モデル) モデルがどのくらいの頻度で、どのようにして真実に答える傾向があるかを調査しました。多くの?人間と PM モデルは、正しい応答よりもお世辞の応答を好むことが判明しました。
PM 結果: 95% のケースで、真実の応答よりもお世辞の応答が好まれました (図 7a)。この調査では、PM がほぼ半分 (45%) の時間でお世辞を言う反応を好むこともわかりました。
人間のフィードバック結果: 人間はお世辞よりも正直に反応する傾向がありますが、難易度 (誤解) が増すにつれて、信頼できる答えを選択する確率は減少します (図 7b)。複数の人の好みを集約することでフィードバックの質は向上しますが、これらの結果は、専門家ではない人間のフィードバックを使用するだけでお世辞を完全に排除するのは難しい可能性があることを示唆しています。
図 7c は、Claude 2 PM の最適化によりお世辞は減少しますが、その効果は顕著ではないことを示しています。
詳細については、原文をご覧ください。
以上が「お世辞」は RLHF モデルでは一般的であり、クロードから GPT-4 の影響を受けない人は誰もいませんの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

導入 シナリオを想像してみてください。チームは、多様なソースからの大規模なデータセットに圧倒されます。 意味のあるプレゼンテーションのためにこの情報を統合、並べ替え、分析することは課題です。これは、パワーバイセマンティックモデル(PBISM)Ex

AIエージェント:LlamaindexとMonsterapiを搭載したAIの未来 AIエージェントは、テクノロジーとの対話方法に革命をもたらす態勢を整えています。 これらの自律システムは、人間の行動を模倣し、推論、意思決定、およびREAを必要とするタスクを実行します

自律AIのロック解除:自己トレーニングLLMの7つの方法 子どもたちが複雑な概念を独立して習得するように、AIシステムが人間の介入なしに学び、進化する未来を想像してください。これはサイエンスフィクションではありません。それは自己の約束です

AI搭載の財務報告:自然言語生成による洞察の革命 今日のダイナミックなビジネス環境では、戦略的意思決定には正確でタイムリーな財務分析が最重要です。 従来の財務報告

Google Deepmind's Table Tennis Robot:スポーツとロボット工学の新しい時代 パリ2024年のオリンピックは終わったかもしれませんが、Google Deepmindのおかげで、スポーツとロボット工学の新しい時代が夜明けです。 彼らの画期的な研究(「「人間レベルの競争を達成する」

Gemini Flash 1.5による効率とスケーラビリティのロック解除:Flask Food Vision WebApp 急速に進化するAIの状況では、効率とスケーラビリティが最重要です。 開発者は、コストとレイテンシを最小限に抑える高性能モデルをますます求めています

llamaindexを使用してAIエージェントのパワーを活用:ステップバイステップガイド 迅速な計算であろうと最新の市場ニュースを取得するかどうかにかかわらず、リクエストを理解し、完璧に実行するパーソナルアシスタントを想像してください。この記事で探求します

Jupyter Notebook(.ipynb)ファイルは、データ分析、科学的コンピューティング、およびインタラクティブエンコーディングで広く使用されています。これらのノートブックは、他のデータサイエンティストとコードを開発および共有するのに最適ですが、PDFなどのより一般的に読みやすい形式に変換する必要がある場合があります。このガイドでは、.ipynbファイルをPDFに変換するさまざまな方法、およびヒント、ベストプラクティス、およびトラブルシューティングの提案をご覧ください。 目次 .ipynbをPDFに変換する理由 .ipynbファイルをPDFに変換する方法 JupyterノートブックUIを使用します nbconveを使用します


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

VSCode Windows 64 ビットのダウンロード
Microsoft によって発売された無料で強力な IDE エディター

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン

ドリームウィーバー CS6
ビジュアル Web 開発ツール

DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、
