LlamaIndex と Ollama を使用した高度なインデックス作成テクニック: パート 2

LlamaIndex と Ollama を使用した高度なインデックス作成テクニック: パート 2

コードはここにあります: GitHub - jamesbmour/blog_tutorials:

LlamaIndex と Ollama の詳細へようこそ!パート 1 では、効率的な情報検索のためのこれらの強力なツールのセットアップと使用の基本事項について説明しました。ここで、ドキュメントの処理機能とクエリ機能を次のレベルに高める高度なインデックス作成テクニックを検討してみましょう。

1. はじめに

先に進む前に、パート 1 の重要なポイントを簡単にまとめてみましょう:

• LlamaIndex と Ollama のセットアップ
• 基本的なインデックスの作成
• 簡単なクエリの実行

このパートでは、さまざまなインデックスの種類について詳しく説明し、インデックス設定をカスタマイズする方法、複数のドキュメントを管理する方法、および高度なクエリ手法を探求します。最後には、複雑な情報検索タスクに LlamaIndex と Ollama を活用する方法をしっかりと理解できるようになります。

まだ環境をセットアップしていない場合は、必ずパート 1 に戻って、LlamaIndex と Ollama のインストールと構成の詳細な手順を参照してください。

2. さまざまなインデックスの種類を調べる

LlamaIndex は、さまざまなユースケースに合わせて調整されたさまざまなインデックス タイプを提供します。 4 つの主要なタイプを見てみましょう:

2.1 リストインデックス

リスト インデックスは、LlamaIndex のインデックス付けの最も単純な形式です。これはテキスト チャンクの順序付きリストであり、単純な使用例に最適です。

from llama_index.core import ListIndex, SimpleDirectoryReader, VectorStoreIndex
from dotenv import load_dotenv
from llama_index.llms.ollama import  Ollama
from llama_index.core import Settings
from IPython.display import Markdown, display
from llama_index.vector_stores.chroma import ChromaVectorStore
from llama_index.core import StorageContext
from llama_index.embeddings.ollama import OllamaEmbedding
import chromadb
from IPython.display import HTML
# make markdown display text color green for all cells
# Apply green color to all Markdown output
def display_green_markdown(text):
    green_style = """
    <style>
    .green-output {
        color: green;
    }
    </style>
    """
    green_markdown = f'<div class="green-output">{text}</div>'
    display(HTML(green_style + green_markdown))


# set the llm to ollama
Settings.llm = Ollama(model='phi3', base_url='http://localhost:11434',temperature=0.1)

load_dotenv()

documents = SimpleDirectoryReader('data').load_data()
index = ListIndex.from_documents(documents)

query_engine = index.as_query_engine()
response = query_engine.query("What is llama index used for?")

display_green_markdown(response)

長所:

• シンプルですぐに作成できます
• 小さなドキュメント セットに最適

短所:

• 大規模なデータセットでは効率が低下します
• 意味上の理解が限定的

2.2 ベクトルストアインデックス

Vector Store Index は埋め込みを活用してドキュメントの意味表現を作成し、より高度な検索を可能にします。

# Create Chroma client
chroma_client = chromadb.EphemeralClient()

# Define collection name
collection_name = "quickstart"

# Check if the collection already exists
existing_collections = chroma_client.list_collections()

if collection_name in [collection.name for collection in existing_collections]:
    chroma_collection = chroma_client.get_collection(collection_name)
    print(f"Using existing collection '{collection_name}'.")
else:
    chroma_collection = chroma_client.create_collection(collection_name)
    print(f"Created new collection '{collection_name}'.")

# Set up embedding model
embed_model = OllamaEmbedding(
    model_name="snowflake-arctic-embed",
    base_url="http://localhost:11434",
    ollama_additional_kwargs={"prostatic": 0},
)

# Load documents
documents = SimpleDirectoryReader("./data/paul_graham/").load_data()

# Set up ChromaVectorStore and load in data
vector_store = ChromaVectorStore(chroma_collection=chroma_collection)
storage_context = StorageContext.from_defaults(vector_store=vector_store)
index = VectorStoreIndex.from_documents(
    documents, storage_context=storage_context, embed_model=embed_model
)

# Create query engine and perform query
query_engine = index.as_query_engine()
response = query_engine.query("What is llama index best suited for?")
display_green_markdown(response)

このインデックス タイプはセマンティック検索とスケーラビリティに優れており、大規模なデータセットに最適です。

2.3 ツリーインデックス

ツリー インデックスは情報を階層的に編成するため、構造化データにとって有益です。

from llama_index.core import TreeIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader('data').load_data()
tree_index = TreeIndex.from_documents(documents)
query_engine = tree_index.as_query_engine()
response = query_engine.query("Explain the tree index structure.")
display_green_markdown(response)

ツリー インデックスは、組織構造や分類法などの自然な階層を持つデータに特に効果的です。

2.4 キーワードテーブルインデックス

キーワード テーブル インデックスは、キーワードベースの効率的な検索のために最適化されています。

from llama_index.core import KeywordTableIndex, SimpleDirectoryReader

documents = SimpleDirectoryReader('data/paul_graham').load_data()
keyword_index = KeywordTableIndex.from_documents(documents)
query_engine = keyword_index.as_query_engine()
response = query_engine.query("What is the keyword table index in llama index?")
display_green_markdown(response)

このインデックス タイプは、特定のキーワードに基づいた素早い検索が必要なシナリオに最適です。

3. インデックス設定のカスタマイズ

3.1 チャンク戦略

効果的なテキストのチャンク化は、インデックスのパフォーマンスにとって非常に重要です。 LlamaIndex は、さまざまなチャンク化メソッドを提供します。

from llama_index.core.node_parser import SimpleNodeParser

parser = SimpleNodeParser.from_defaults(chunk_size=1024)

documents = SimpleDirectoryReader('data').load_data()
nodes = parser.get_nodes_from_documents(documents)
print(nodes[0])

さまざまなチャンキング戦略を試して、コンテキストの保持とクエリのパフォーマンスの間の最適なバランスを見つけてください。

3.2 埋め込みモデル

LlamaIndex はさまざまな埋め込みモデルをサポートしています。 Ollama を埋め込みに使用する方法は次のとおりです:

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.embeddings.ollama import OllamaEmbedding

embed_model = OllamaEmbedding(
    model_name="snowflake-arctic-embed",
    base_url="http://localhost:11434",
    ollama_additional_kwargs={"mirostat": 0},
)
index = VectorStoreIndex.from_documents(documents, embed_model=embed_model)
query_engine = index.as_query_engine()
response = query_engine.query("What is an embedding model used for in LlamaIndex?")
display_green_markdown(response)

さまざまな Ollama モデルを試し、パラメーターを調整して、特定のユースケースに合わせて埋め込み品質を最適化します。

4. 複数のドキュメントの処理

4.1 複数ドキュメントのインデックスの作成

LlamaIndex は、さまざまなタイプの複数のドキュメントからインデックスを作成するプロセスを簡素化します。

txt_docs = SimpleDirectoryReader('data/paul_graham').load_data()
web_docs = SimpleDirectoryReader('web_pages').load_data()
data = txt_docs  + web_docs
all_docs = txt_docs  + web_docs
index = VectorStoreIndex.from_documents(all_docs)

query_engine = index.as_query_engine()
response = query_engine.query("How do you create a multi-document index in LlamaIndex?")
display_green_markdown(response)

4.2 クロスドキュメントクエリ

複数のドキュメントにわたって効果的にクエリを実行するには、関連性スコアリングを実装し、コンテキスト境界を管理できます。

from llama_index.core import QueryBundle
from llama_index.core.query_engine import RetrieverQueryEngine

retriever = index.as_retriever(similarity_top_k=5)
query_engine = RetrieverQueryEngine.from_args(retriever, response_mode="compact")
query = QueryBundle("How do you query across multiple documents?")
response = query_engine.query(query)
display_green_markdown(response)

5. 結論と次のステップ

LlamaIndex および Ollama シリーズの第 2 部では、次のような高度なインデックス作成テクニックを検討しました。

• さまざまなインデックスの種類とその使用例
• 最適なパフォーマンスを実現するためのインデックス設定のカスタマイズ
• 複数のドキュメントとクロスドキュメントクエリの処理

私をサポートしたり、ビールを買ったりしたい場合は、お気軽に私のPatreon jamesbmourに参加してください

以上がLlamaIndex と Ollama を使用した高度なインデックス作成テクニック: パート 2の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。