ホームページ >テクノロジー周辺機器 >AI >動作中の是正布(岩石)
検索された生成(RAG)は、情報検索を組み込むことにより、大規模な言語モデル(LLM)を強化します。これにより、LLMは外部の知識ベースにアクセスできるようになり、より正確で最新の、および文脈的に適切な応答が得られます。高度なぼろきれの手法である是正ぼろきれ(CRAG)は、取得された文書の自己反省と自己評価メカニズムを導入することにより、精度をさらに強化します。
この記事では:
Data Science Blogathonの一部として公開されています。
目次
クラッグの根本的なメカニズム
CRAGは、Web検索を検索プロセスと生成プロセスに統合することにより、LLM出力の信頼性を高めます(図1を参照)。
ドキュメント取得:
関連性評価:
評価者は、取得されたドキュメントの関連性を評価します。文書の70%以上が無関係であるとみなされる場合、是正措置が開始されます。それ以外の場合、応答生成が進行します。
Web検索統合:
ドキュメントの関連性が不十分な場合、CragはWeb検索を使用します。
応答生成:
CRAGは、初期検索とWeb検索の両方からのデータを合成して、コヒーレントで正確な応答を作成します。
クラッグ対伝統的なぼろきれ
CRAGは、検証なしで検索されたドキュメントに依存している従来のぼろとは異なり、取得した情報を積極的に検証および改良します。 CRAGは、多くの場合、リアルタイムのWeb検索を組み込んでおり、静的な知識ベースへの従来のRagの依存とは異なり、最新情報へのアクセスを提供します。これにより、高精度とリアルタイムのデータ統合が必要なアプリケーションにCragが理想的になります。
実用的な岩山の実装
このセクションでは、Python、Langchain、およびTavilyを使用した岩山の実装について詳しく説明しています。
ステップ1:ライブラリのインストール
必要なライブラリをインストールする:
!ピップインストールTiktoken Langchain-Openai Langchainhub Chromadb Langchain Langgraph tavily-python !PIPインストール-QuPypdf langchain_community
ステップ2:APIキー構成
APIキーを設定します:
OSをインポートします os.environ ["tavily_api_key"] = "" os.environ ["openai_api_key"] = ""
ステップ3:ライブラリの輸入
必要なライブラリをインポートします(Brevityのために省略されていますが、元の例と同様)。
ステップ4:チャンクおよびレトリーバーの作成を文書化します
(Brevityのためにコードは省略されていますが、PYPDFLOADER、recursIveCharacterTextSplitter、OpenAiemBedings、およびChromaを使用して、元の例と同様)。
ステップ5:ラグチェーンのセットアップ
(Brevityのためにコードは省略されていますが、元の例と同様に、 hub.pull("rlm/rag-prompt")
およびChatOpenAI
使用しています)。
ステップ6:評価者のセットアップ
(Brevityのためにコードは省略されていますが、元の例と同様に、 Evaluator
クラスを定義し、評価のためにChatOpenAI
使用しています)。
ステップ7:クエリライターのセットアップ
(Brevityのためにコードは省略されていますが、元の例と同様に、 ChatOpenAI
を使用してクエリの書き換えに)。
ステップ8:Web検索セットアップ
langchain_community.tools.tools.tavily_search Import tavilysearchresultsから web_search_tool = tavilysearchresults(k = 3)
ステップ9-12:ランググラフワークフローのセットアップと実行
(Brevityのために省略されたコードですが、概念的には元の例と類似して、 GraphState
、Function Nodes( retrieve
、 generate
、 evaluate_documents
、 transform_query
、 web_search
)を定義し、 StateGraph
を使用して接続します。)従来のRAGとの最終出力と比較も概念的に似ています。
クラッグの課題
Cragの有効性は、評価者の精度に大きく依存します。弱い評価者はエラーを導入できます。スケーラビリティと適応性も懸念事項であり、継続的な更新とトレーニングが必要です。 Web検索統合は、偏った情報または信頼できない情報のリスクを導入し、堅牢なフィルタリングメカニズムを必要とします。
結論
クラッグにより、LLM出力の精度と信頼性が大幅に向上します。リアルタイムのWebデータで取得した情報を評価および補足する能力により、高精度と最新の情報を要求するアプリケーションにとって価値があります。ただし、評価者の精度とWebデータの信頼性に関連する課題に対処するには、継続的な改良が重要です。
キーテイクアウト(オリジナルに似ていますが、簡潔さのために言い換えられます)
よくある質問(オリジナルに似ていますが、簡潔さのために言い換えられます)
(注:画像は変更されておらず、元の入力のように含まれています。)
以上が動作中の是正布(岩石)の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。