LlamainDexを使用したマルチドキュメントエージェントRAGの構築

導入

人工知能の急速に進化する分野では、膨大な量の情報を処理および理解する能力がますます重要になっています。 Multi-Document Agent RAG - 検索された生成（RAG）とエージェントベースのシステムを組み合わせて、複数のドキュメントで推論できるAIを作成する強力なアプローチを入力します。このガイドでは、このエキサイティングなテクノロジーの概念、実装、および可能性を説明します。

学習目標

• マルチドキュメントエージェントRAGシステムとそのアーキテクチャの基礎を理解してください。
• 埋め込みとエージェントベースの推論が、文脈的に正確な応答を生成するAIの能力をどのように強化するかを学びます。
• 知識集約型アプリケーションの情報抽出を改善する高度な検索メカニズムを探索します。
• 研究や法的分析などの複雑な分野でのマルチドキュメントエージェントRAGの応用に関する洞察を得る。
• AI主導のコンテンツ生成と分析におけるRAGシステムの有効性を評価する機能を開発します。

この記事は、データサイエンスブログソンの一部として公開されました。

目次

• ぼろきれとマルチドキュメントエージェントの理解
• なぜマルチドキュメントエージェントラグがゲームチェンジャーなのですか？
• マルチドキュメントエージェントRAGシステムの重要な強み
• マルチドキュメントエージェントラグのビルディングブロック
• 基本的なマルチドキュメントエージェントラグの実装
  • ステップ1：必要なライブラリのインストール
  • ステップ2：APIキーと環境変数のセットアップ
  • ステップ3：ドキュメントのダウンロード
  • ステップ4：ベクトルと概要ツールの作成
  • ステップ5：エージェントの作成
  • ステップ6：エージェントからの応答の分析
  • エージェントのロングロラペーパーとの相互作用の説明
  • エージェントの動作の説明：自己襲撃とロングロラの要約
• 課題と考慮事項
• よくある質問

ぼろきれとマルチドキュメントエージェントの理解

検索された生成（RAG）は、外部の知識にアクセスして使用できるようにすることで言語モデルを強化する手法です。 RAGモデルは、訓練されたパラメーターのみに依存する代わりに、知識ベースから関連情報を取得して、より正確で情報に基づいた応答を生成できます。

Multi-Document Agent Ragは、AIエージェントが複数のドキュメントを同時に操作できるようにすることにより、この概念をさらに採用します。このアプローチは、学術研究、市場分析、法的文書レビューなど、さまざまな情報源からの情報を統合する必要があるタスクにとって特に価値があります。

なぜマルチドキュメントエージェントラグがゲームチェンジャーなのですか？

マルチドキュメントエージェントラグがゲームチェンジャーである理由を理解しましょう。

• コンテキストのより賢い理解：1冊の本だけでなく、質問に答えるためのライブラリ全体を読むスーパースマートのアシスタントがいることを想像してください。それが、強化された文脈的理解が意味することです。複数のドキュメントを分析することにより、AIはより完全な画像をつなぐことができ、全体像を本当に捉えた答えを提供できます。
• トリッキーなタスクの精度を後押しします：私たちは皆、子供として「ドットを接続する」をプレイしました。マルチドキュメントエージェントラグは、同様のことをしますが、情報を使用します。さまざまなソースからの事実を接続することにより、複雑な問題により正確に取り組むことができます。これは、特に複雑なトピックを扱う場合、より信頼できる答えを意味します。
• 情報の過負荷の処理プロのように：今日の世界では、データにownれています。マルチドキュメントエージェントラグは、スーパーチャージされたフィルターのようなもので、膨大な量の情報をふるいにかけて、本当に関連するものを見つけます。それは、膨大な知識のライブラリを消化して要約するために、24時間体制で働いている専門家チームを持つようなものです。
• 順応性と成長可能な知識ベース：これは、簡単に学習して拡大できるデジタル脳と考えてください。新しい情報が利用可能になると、マルチドキュメントエージェントRAGはシームレスに組み込むことができます。これは、AIアシスタントが常に最新であり、最新の質問に新鮮な情報に取り組む準備ができていることを意味します。

マルチドキュメントエージェントRAGシステムの重要な強み

次に、マルチドキュメントエージェントRAGシステムの重要な強みを検討します。

• 学術研究の超充電：研究者は、多くの場合、数百の論文からの情報を合成することが多いことが多いことがよくあります。マルチドキュメントエージェントラグは、このプロセスを劇的に高速化することができ、学者が主要な傾向、知識のギャップ、および膨大な文学団体全体の潜在的なブレークスルーを迅速に特定することができます。
• 法的文書分析の革命：弁護士は、ケースファイル、契約、および法的先例の山に対処します。このテクノロジーは、数千のドキュメントを迅速に分析し、重要な詳細、矛盾、および人間のチームが数日または数週間かかる可能性のある関連事例法を発見することができます。
• ターボチャージャー市場のインテリジェンス：企業は、トレンドと競争に先んじている必要があります。マルチドキュメントエージェントRAGは、ニュース記事、ソーシャルメディア、業界レポートを継続的にスキャンでき、リアルタイムの洞察を提供し、企業がこれまで以上に速くデータ駆動型の決定を下すのを支援できます。
• 技術文書を簡単にナビゲートする：エンジニアとITの専門家にとって、広大な技術文書に適切な情報を見つけることは、干し草の山で針を検索するようなものです。このAIを搭載したアプローチは、複数のマニュアル、トラブルシューティングガイド、コードリポジトリに関連するセクションをすばやく特定でき、数え切れないほどのフラストレーションを節約できます。

マルチドキュメントエージェントラグのビルディングブロック

スーパースマートのデジタルライブラリアシスタントを構築していると想像してください。このアシスタントは、数千冊の本を読み、複雑な質問を理解し、複数のソースからの情報を使用して詳細な回答をすることができます。それは本質的に、マルチドキュメントエージェントRAGシステムが行うことです。これを可能にする重要なコンポーネントを分解しましょう。

ドキュメント処理

あらゆる種類のドキュメント（PDF、Webページ、単語ファイルなど）を、AIが理解できる形式に変換します。

埋め込みの作成

処理されたテキストを、情報の意味とコンテキストを表す数値ベクトル（数字のシーケンス）に変換します。

簡単に言えば、ライブラリ内の各段落の超継続的な要約を作成することを想像してください。ただし、言葉の代わりに、一意のコードを使用します。このコードは、コンピューターが迅速に比較および分析できる方法で情報の本質をキャプチャします。

インデックス付け

これらの埋め込みを保存および取得するための効率的な構造を作成します。これは、デジタルライブラリ用に世界で最も効率的なカードカタログを作成するようなものです。これにより、すべてのドキュメントを詳細にスキャンすることなく、AIが関連情報をすばやく見つけることができます。

検索

クエリ（質問）を使用して、インデックス付き埋め込みから最も関連性の高い情報を見つけます。質問をするとき、このコンポーネントはデジタルライブラリを駆け抜け、その超効率の良いカードカタログを使用して、潜在的に関連するすべての情報を引き出します。

エージェントベースの推論

AIエージェントは、クエリのコンテキストで取得された情報を解釈し、回答を策定するためにそれを使用する方法を決定します。これは、正しいドキュメントを見つけるだけでなく、質問のより深い意味を理解する天才AIエージェントがいるようなものです。彼らはさまざまなソースでドットを接続し、あなたに答える最良の方法を把握することができます。

世代

エージェントの推論と取得された情報に基づいて、人間が読みやすい答えを生成します。これは、私たちの天才エージェントが彼らの発見を明確で簡潔な言語で説明する場所です。彼らは、彼らが収集して分析したすべての複雑な情報を取得し、あなたの質問に直接答える方法でそれを提示します。

この強力な組み合わせにより、マルチドキュメントエージェントRAGシステムは、膨大な知識のプールから引き出される洞察と回答を提供し、多くの分野で複雑な研究​​、分析、問題解決タスクに非常に役立ちます。

基本的なマルチドキュメントエージェントラグの実装

まず、3つの学術論文で動作できるシンプルなエージェントラグを構築することから始めましょう。ラグシステムを構築するための強力なツールを提供するllama_indexライブラリを使用します。

ステップ1：必要なライブラリのインストール

AIエージェントの構築を開始するには、必要なライブラリをインストールする必要があります。環境をセットアップする手順は次のとおりです。

• Pythonのインストール：システムにPythonがインストールされていることを確認してください。公式Python Webサイトからダウンロードできます：Pythonをダウンロード
• 仮想環境を設定する：プロジェクトを管理するための仮想環境を作成することをお勧めします。次のコマンドを実行して、仮想環境を設定します。

 python -m venv ai_agent_env
ソースai_agent_env/bin/activate＃on windowsで、 `ai_agent_env \ scripts \ activate`を使用します

• OpenAI APIとLlamainDexをインストールします。

 PIPインストールOpenai llama-index == 0.10.27 llama-index-llms-openai == 0.1.15
ピップインストールllama-index-embedings-openai == 0.1.7

ステップ2：APIキーと環境変数のセットアップ

Openai APIを使用するには、APIキーが必要です。これらの手順に従って、APIキーを設定します。

• APIキーを取得します： OpenAI Webサイトでアカウントにサインアップし、APIセクションからAPIキーを取得します。
• 環境変数のセットアップ： APIキーを環境変数に保存して、安全に保ちます。 .bashrcまたは.zshrcファイルに次の行を追加します（または、オペレーティングシステムに適切な方法を使用してください）

 export openai_api_key = 'your_openai_api_key_hore'

• コードのAPIキーにアクセス： Pythonコードで、必要なライブラリをインポートし、OSモジュールを使用してAPIキーにアクセスします

OSをインポートします
Openaiをインポートします
nest_asyncioをインポートします
llama_index.core.node_parserからimportsentencesplitterから
llama_index.core.tools Import functionTool、QueryEngineToolから
llama_index.core.vector_storesからメタデータをインポートする、filterconditionから
llama_index.core.agent Import functioncallingagentworkerから
llama_index.core.agent Import agentrunnerから
インポートリストの入力からオプション
サブプロセスをインポートします
openai.api_key = os.getenv（ 'openai_api_key'）

#ptiontionalするには、Openaiキーを直接追加するだけです。 （良い習慣ではありません）
＃openai.api_key = 'your_openai_api_key_hore'

nest_asyncio.apply（）

ステップ3：ドキュメントのダウンロード

前述のように、私はこのエージェントのぼろを作るために3つの論文を使用しているだけで、後でこのエージェントのぼろを他のブログでより多くの論文に拡大します。 （オプションで）独自のドキュメントを使用できます。

 ＃ダウンロードするURLのリスト
urls = [
    「https://openreview.net/pdf?id=vtmbagcn7o」、
    「https://openreview.net/pdf?id=6pmjorfdak」、
    「https://openreview.net/pdf?id=hsyw5go0v8」、
]

＃ファイルを保存するための対応するファイル名
論文= [
    「Metagpt.pdf」、
    「longlora.pdf」、
    「selfrag.pdf」、
]

＃両方のリストをループし、それぞれの名前で各ファイルをダウンロードします
URLの場合、zip（urls、論文）の紙：
    subprocess.run（["wget"、url、 "-o"、論文]））

ステップ4：ベクトルと概要ツールの作成

以下の関数であるget_doc_toolsは、ベクトルクエリツールと概要クエリツールの2つのツールを作成するように設計されています。これらのツールは、エージェントベースの検索された生成（RAG）アプローチを使用して、ドキュメントのクエリと要約に役立ちます。以下は手順とその説明です。

 def get_doc_tools（
    file_path：str、
    名前：str、
） - > str：
    "" "ドキュメントからベクトルクエリと概要クエリツールを取得します。" ""

ドキュメントの読み込みとベクトルインデックスの準備

この関数は、提供されたFile_Pathを取得し、ドキュメントの内容を読み取るSimpleDirectoryReaderを使用してドキュメントをロードすることから始まります。ドキュメントが読み込まれると、文書が最大1024文字を含む小さなチャンクまたはノードにドキュメントを分割するSentencesPlitterで処理されます。これらのノードは、効率的なベクトルベースのクエリを可能にするツールであるVectorStoreIndexを使用してインデックス化されます。このインデックスは、後でベクトルの類似性に基づいてドキュメントコンテンツを介して検索を実行するために使用され、関連情報の取得が容易になります。

 ＃指定されたファイルパスからドキュメントをロードします
documents = simpledirectoryreader（input_files = [file_path]）。load_data（）

＃ロードされたドキュメントを1024文字の小さなチャンク（ノード）に分割します
splitter = sentencesplitter（chunk_size = 1024）
nodes = splitter.get_nodes_from_documents（documents）

＃効率的なベクトルベースのクエリを得るために、ノードからベクトルインデックスを作成します
vector_index = vectorStoreIndex（ノード）

ベクトルクエリ関数の定義

ここで、この関数はVector_Queryを定義します。Vector_Queryは、ドキュメントに関する特定の質問に答える責任があります。この関数は、クエリ文字列とページ番号のオプションのリストを受け入れます。ページ番号が提供されていない場合、ドキュメント全体が照会されます。この関数は、最初にpage_numbersが提供されているかどうかを確認します。そうでない場合、デフォルトは空のリストになります。

次に、指定されたページ番号に対応するメタデータフィルターを作成します。これらのフィルターは、検索をドキュメントの特定の部分に絞り込むのに役立ちます。 Query_EngineはVector Indexを使用して作成され、類似のしきい値とともにこれらのフィルターを使用するように構成され、最も関連性の高い結果が見つかります。最後に、関数はこのエンジンを使用してクエリを実行し、応答を返します。

 ＃ベクトルクエリ関数
    def vector_query（
        クエリ：str、 
        page_numbers：optional [list [str]] = none
    ） - > str：
        "" "特定の論文に対する質問に答えるために使用します。
    
        紙に具体的な質問がある場合に便利です。
        検索したい特定のページがない限り、必ずPage_Numbersをまったく残しません。
    
        args：
            クエリ（str）：埋め込まれる文字列クエリ。
            page_numbers（optional [list [str]]）：ページのセットごとにフィルタリングします。何も残してください 
                ベクトル検索を実行したい場合
                すべてのページにわたって。それ以外の場合は、指定されたページのセットでフィルタリングします。
        
        "" "
    
        page_numbers = page_numbersまたは[]
        metadata_dicts = [
            {"key"： "page_label"、 "value"：p} for page_numbers
        ]
        
        query_engine = vector_index.as_query_engine（
            類似性_top_k = 2、
            filters = metadatafilters.from_dicts（
                metadata_dicts、
                条件= filtercondition.or
            ））
        ））
        response = query_engine.query（query）
        返信応答

ベクトルクエリツールの作成

関数のこの部分は、Vector_Query_Toolを作成します。これは、以前に定義されたVector_Query関数を、get_doc_toolsを呼び出すときに提供される名前パラメーターに基づいて動的に生成された名前にリンクするツールを作成します。

このツールは、functionTool.from_defaultsを使用して作成されます。これにより、必要なデフォルトで自動的に構成されます。このツールを使用して、以前に定義された関数を使用して、ドキュメント上でベクトルベースのクエリを実行できるようになりました。

       
    ＃ベクタークエリツールの作成
    vector_query_tool = functiontool.from_defaults（
        name = f "vector_tool_ {name}"、
        fn = vector_query
    ））

概要クエリツールの作成

この最後のセクションでは、この関数はドキュメントを要約するためのツールを作成します。まず、以前に分割およびインデックス化されたノードからsummaryindexを作成します。このインデックスは、要約タスク専用に設計されています。 summary_query_engineは、「tree_summarize」の応答モードで作成されます。これにより、ツールはドキュメントコンテンツの簡潔な要約を生成できます。

summary_toolは、queryengineTool.from_defaultsを使用して最終的に作成されます。これは、クエリエンジンを名前パラメーターに基づいて動的に生成された名前にリンクします。このツールには、要約関連のクエリの目的を示す説明も与えられます。この要約ツールを使用して、ユーザークエリに基づいてドキュメントの要約を生成できるようになりました。

 ＃サマリークエリツール
    summary_index = summaryIndex（ノード）
    summary_query_engine = summary_index.as_query_engine（
        Response_mode = "tree_summarize"、
        use_async = true、
    ））
    summary_tool = queryenginetool.from_defaults（
        name = f "summary_tool_ {name}"、
        query_engine = summary_query_engine、
        説明=（
            f「{name}に関連する要約の質問に役立ちます」
        ）、、
    ））

    return vector_query_tool、summary_tool

各ペーパーのツールを構築するための呼び出し関数

Paper_to_tools_dict = {}
論文の論文の場合：
    印刷（f "紙のツールの取得：{紙}"）
    vector_tool、summary_tool = get_doc_tools（紙、path（紙）.stem）
    Paper_to_tools_dict [Paper] = [vector_tool、summary_tool]

initial_tools = [t for paper_to_tools_dict [paper]]の論文の論文の場合
len（initial_tools）

このコードは、各ペーパーを処理し、それぞれに2つのツールを作成します。セマンティック検索のためのベクトルツールと、この場合は6つのツールで簡潔な要約を生成するための要約ツールです。

ステップ5：エージェントの作成

以前には、エージェントが使用するためのツールを作成しましたが、次にfunctionCallingagentWorkerクラスを使用してエージェントを作成します。 LLMとして「GPT-3.5-Turbo」を使用します。

 LLM = openai（model = "gpt-3.5-turbo"）

agent_worker = functioncallingagentworker.from_tools（
    initial_tools、 
    LLM = LLM、 
    verbose = true
））
agent = agentrunner（agent_worker）

このエージェントは、私たちが処理した3つの論文に関する質問に答えることができます。

ステップ6：エージェントからの応答の分析

エージェントは3つの論文からさまざまな質問をしましたが、ここにその回答があります。以下は、それがどのように機能するかの例と説明を示します。

エージェントのロングロラペーパーとの相互作用の説明

この例では、3つの研究論文から特定の情報を抽出するためにエージェントに質問しました。特に、Longlora研究で使用されている評価データセットと結果について説明しました。エージェントは、Vectorクエリツールを使用してドキュメントと対話します。これは、情報を段階的に処理する方法を次に示します。

• ユーザーの入力：ユーザーは、Longloraの評価の側面に関する2つの連続的な質問をしました。最初に評価データセットについて、次に結果について。
• エージェントのクエリの実行：エージェントは、評価データセットに関する情報について、Longloraドキュメントを具体的に検索する必要があることを特定します。 vector_tool_longlora関数を使用します。これは、longlora専用に設定されたベクトルクエリツールです。

 ===呼び出しfunction ===
呼び出し関数：vector_tool_longlora with args：{"query"： "評価データセット"}

• 評価データセットの関数出力：エージェントはドキュメントから関連セクションを取得し、ロングロラで使用される評価データセットが「PG19テスト分割」であることを特定します。
• エージェントの2番目のクエリ実行：最初の回答に続いて、エージェントはユーザーの質問の2番目の部分を処理し、ロングロラの評価結果に関するドキュメントを照会します。

 ===呼び出しfunction ===
呼び出し関数：vector_tool_longlora with args：{"query"： "評価結果"}

• 評価結果の関数出力：エージェントは、コンテキストサイズが大きい場合の困惑の観点から、モデルのパフォーマンスが向上する方法を示す詳細な結果を返します。より大きなコンテキストウィンドウや特定のコンテキストの長さ（100K、65536、および32768）を使用した改善などの重要な調査結果を強調しています。また、拡張モデルが位置補間により、より小さなコンテキストサイズで困惑の劣化を経験するため、トレードオフも注目しています。
• 最終LLM応答：エージェントは、データセットに関する最初の質問に答える簡潔な応答に結果を合成します。評価結果のさらなる説明が続き、パフォーマンスの結果とその意味を要約します。

他の論文の例はほとんどありません

エージェントの動作の説明：自己襲撃とロングロラの要約

この例では、エージェントは、自己襲撃とロングロラの両方の要約を提供する任務を負っていました。この場合に観察された動作は、前の例とは異なります。

概要ツールの使用

===呼び出しfunction ===
呼び出し関数：summary_tool_selfrag with args：{"input"： "self-rag"}

特定の詳細（評価データセットや結果など）の照会を照会する以前の例とは異なり、エージェントは、自己ragおよびlonglora向けに設計されたsummary_tool関数を直接使用しました。これは、質問の性質に基づいてクエリツールを適応的に切り替えるエージェントの能力を示しています。これは、より広い概要が必要なときに要約を開始することです。

要約ツールを分離するための明確な呼び出し

===呼び出しfunction ===
呼び出し関数：summary_tool_longlora with args：{"input"： "longlora"}

エージェントは、summary_tool_selfragとsummary_tool_longloraを個別に呼び出して要約を取得し、マルチパートクエリを効率的に処理する能力を実証しました。単一の複合検索を実行するのではなく、各ペーパーに合わせた明確な要約ツールを関与させる必要性を特定します。

応答の簡潔さと直接性

エージェントが提供する応答は簡潔で、プロンプトに直接対処されました。これは、エージェントが高レベルの洞察を効果的に抽出できることを示しており、特定のベクトルクエリに基づいてより詳細なデータポイントを提供する前の例とは対照的です。

この相互作用は、以前に観察された高レベルの概要と詳細なコンテキスト固有の応答を提供するエージェントの能力を強調しています。この動作の変化は、ユーザーの質問の性質に基づいてクエリ戦略を調整する際のエージェントRAGシステムの汎用性を強調します。詳細と幅広い要約が必要かどうか。

課題と考慮事項

マルチドキュメントエージェントRAGは強力ですが、留意すべき課題がいくつかあります。

• スケーラビリティ：ドキュメントの数が増えると、効率的なインデックス作成と検索が重要になります。
• コヒーレンス：複数のソースから情報を統合するときに、エージェントがコヒーレント応答を生成するようにします。
• バイアスと精度：システムの出力は、入力ドキュメントと検索メカニズムと同じくらい優れています。
• 計算リソース：多数のドキュメントを処理して埋め込むことは、リソース集約型です。

結論

マルチドキュメントエージェントRAGは、AIの分野での大幅な進歩を表し、複数のソースから情報を合成することにより、より正確でコンテキスト対応の応答を可能にします。このアプローチは、研究、法的分析、技術文書などの複雑なドメインで特に価値があり、正確な情報の検索と推論が重要です。埋め込み、エージェントベースの推論、および堅牢な検索メカニズムを活用することにより、このシステムはAIに生成されたコンテンツの深さと信頼性を高めるだけでなく、知識集約型産業のより洗練されたアプリケーションへの道を開きます。テクノロジーが進化し続けるにつれて、マルチドキュメントエージェントラグは、膨大な量のデータから意味のある洞察を抽出するための不可欠なツールになる準備ができています。

キーテイクアウト

• マルチドキュメントエージェントRAGは、複数のソースから情報を統合することにより、AI応答の精度を向上させます。
• 埋め込みとエージェントベースの推論は、コンテキスト対応で信頼性の高いコンテンツを生成するシステムの能力を高めます。
• このシステムは、研究、法的分析、技術文書などの複雑な分野で特に価値があります。
• 高度な検索メカニズムは、知識集約型産業をサポートし、正確な情報抽出を保証します。
• マルチドキュメントエージェントRAGは、AI主導のコンテンツ生成とデータ分析における重要な前進を表しています。

よくある質問

Q1。マルチドキュメントエージェントラグとは何ですか？

A.マルチドキュメントエージェントRAGは、検索された生成（RAG）とエージェントベースのシステムを組み合わせて、AIが複数のドキュメントにわたって推論できるようにします。

Q2。マルチドキュメントエージェントRAGはどのように精度を改善しますか？

A.さまざまなソースからの情報を合成することで精度を向上させ、AIが事実を接続し、より正確な答えを提供できるようにします。

Q3。マルチドキュメントエージェントラグはどの分野で最も有益ですか？

A.これは、学術研究、法的文書分析、市場情報、および技術文書に特に価値があります。

Q4。マルチドキュメントエージェントRAGシステムの重要なコンポーネントは何ですか？

A.主要なコンポーネントには、ドキュメント処理、埋め込みの作成、インデックス作成、検索、エージェントベースの推論、および生成が含まれます。

Q5。このシステムへの埋め込みの役割は何ですか？

A.埋め込みテキストを数値ベクトルに変換し、効率的な比較と分析のために情報の意味とコンテキストをキャプチャします。

この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。

以上がLlamainDexを使用したマルチドキュメントエージェントRAGの構築の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。