検索された生成が依然として長いコンテキスト言語モデルの時代に関連する理由

ますます強力な大手言語モデル（LLMS）のコンテキストで、検索された生成（RAG）の進化を調査しましょう。 LLMSの進歩がRagのの必要性にどのように影響しているかを調べます。 ragの簡単な歴史

ragは新しい概念ではありません。 現在のデータへのアクセスのためにLLMSにコンテキストを提供するというアイデアは、2020年のFacebook AI/メタペーパー、「知識集約型NLPタスクの検索された生成」にルーツを持っています。 このペーパーでは、LLMSの2種類のメモリを強調しました：

パラメトリックメモリ：

LLMに固有の知識は、広大なテキストデータセットでのトレーニング中に取得されました。
• ノンパラメトリックメモリ：プロンプト内で提供される外部コンテキスト。
• 元の論文は、関連するドキュメントを取得するためにセマンティック検索にテキスト埋め込みを使用しましたが、これはragでドキュメント検索の唯一の方法ではありません。 彼らの研究は、LAGがLLMだけを使用することと比較して、より正確で事実上の反応をもたらしたことを実証しました。
chatgptインパクト

ChatGptの2022年11月の発売により、クエリに答えるためのLLMSの可能性が明らかになりましたが、強調表示された制限：

限られた知識：

llmsトレーニングデータを超えて情報へのアクセスがありません。

幻覚：
• llmsは、不確実性を認めるのではなく、情報を作成する場合があります
llmsは、トレーニングデータと迅速な入力のみに依存しています。 この範囲外のクエリは、多くの場合、製造された応答につながります
• rag の上昇と改良 ragが事前にchatgptを事前にしている間、その広範な採用は2023年に大幅に増加しました。コアコンセプトは単純です。LLMを直接照会する代わりに、プロンプト内で関連する
コンテキスト

を提供し、LLMに答えるように指示するそのコンテキストに基づいて

のみ

プロンプトは、回答生成のLLMの出発点として機能します。

このアプローチは、幻覚を大幅に減らし、最新のデータへのアクセスを可能にし、ビジネス固有のデータの使用を促進しました。

ragの初期の制限

初期の課題は、限られたコンテキストウィンドウサイズを中心としています。 ChatGPT-3.5の4Kトークン制限（約3000の英語の単語）は、コンテキストと回答の長さの量を制限しました。 過度に長いコンテキスト（回答の長さの制限）または不十分なコンテキスト（重要な情報の省略を危険にさらす）を避けるために、バランスが必要でした。

コンテキストウィンドウは、限られたブラックボードのように機能します。指示のためのより多くのスペースは、答えのために少なくなります。

現在の風景

それ以来、

それ以来、重要な変更が発生しており、主にコンテキストのウィンドウサイズに関するものです。 GPT-4O（2024年5月にリリース）のようなモデルは128Kトークンのコンテキストウィンドウを誇っていますが、GoogleのGemini 1.5（2024年2月から入手可能）は、100万の巨大なトークンウィンドウを提供しています。

ragの変化する役割

このコンテキストウィンドウサイズの増加は、議論を引き起こしました。一部の人々は、プロンプト内に本全体を含める能力により、慎重に選択されたコンテキストの必要性が減少すると主張する人もいます。 1つの調査（2024年7月）は、特定のシナリオでロングコンテキストプロンプトがぼろを上回る可能性があることさえ示唆しました。

検索拡張ジェネレーションまたはロングコンテキストLLMS？包括的な研究とハイブリッドアプローチ

しかし、より最近の研究（2024年9月）はこれに反論し、RAGの重要性を強調し、以前の制限がプロンプト内のコンテキスト要素の順序に起因することを示唆しました。

ロングコンテキスト言語モデルの時代にragを守る

別の関連研究（2023年7月）は、長いプロンプト内の情報の位置的影響を強調しました。

途中で失われた：言語モデルが長いコンテキストを使用する方法

プロンプトの先頭にある情報は、中央の情報よりもLLMによってより容易に利用されます。

ragの未来

コンテキストウィンドウサイズの進歩にもかかわらず、主にコストの考慮事項のために、RAGは非常に重要です。 より長いプロンプトは、より多くの処理能力を必要とします。 RAGは、迅速なサイズを重要な情報に制限することにより、計算コストを大幅に削減します。 RAGの将来には、コストを最適化して質のある質を最適化するために、大規模なデータセットから無関係な情報をフィルタリングすることが含まれます。 特定のタスクに合わせて調整されたより小さな専門モデルの使用も、重要な役割を果たす可能性があります。

以上が検索された生成が依然として長いコンテキスト言語モデルの時代に関連する理由の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。