程式碼可以在這裡找到:GitHub - jamesbmour/blog_tutorials:
歡迎回到我們對 LlamaIndex 和 Ollama 的深入研究!在第 1 部分中,我們介紹了設定和使用這些強大工具進行高效資訊檢索的要點。現在,是時候探索高級索引技術了,它將把您的文件處理和查詢能力提升到一個新的水平。
在繼續之前,讓我們先快速回顧一下第 1 部分的要點:
在這一部分中,我們將深入研究不同的索引類型,學習如何自訂索引設定、管理多個文件以及探索進階查詢技術。最後,您將對如何利用 LlamaIndex 和 Ollama 執行複雜的資訊檢索任務有一個深入的了解。
如果您尚未設定環境,請務必參閱第 1 部分,以了解有關安裝和設定 LlamaIndex 和 Ollama 的詳細說明。
LlamaIndex 提供各種索引類型,每種索引類型都針對不同的用例量身定制。讓我們探討四種主要類型:
列表索引是 LlamaIndex 中最簡單的索引形式。它是文字區塊的有序列表,非常適合簡單的用例。
from llama_index.core import ListIndex, SimpleDirectoryReader, VectorStoreIndex from dotenv import load_dotenv from llama_index.llms.ollama import Ollama from llama_index.core import Settings from IPython.display import Markdown, display from llama_index.vector_stores.chroma import ChromaVectorStore from llama_index.core import StorageContext from llama_index.embeddings.ollama import OllamaEmbedding import chromadb from IPython.display import HTML # make markdown display text color green for all cells # Apply green color to all Markdown output def display_green_markdown(text): green_style = """ <style> .green-output { color: green; } </style> """ green_markdown = f'<div class="green-output">{text}</div>' display(HTML(green_style + green_markdown)) # set the llm to ollama Settings.llm = Ollama(model='phi3', base_url='http://localhost:11434',temperature=0.1) load_dotenv() documents = SimpleDirectoryReader('data').load_data() index = ListIndex.from_documents(documents) query_engine = index.as_query_engine() response = query_engine.query("What is llama index used for?") display_green_markdown(response)
優點:
缺點:
向量儲存索引利用嵌入來建立文件的語意表示,從而實現更複雜的搜尋。
# Create Chroma client chroma_client = chromadb.EphemeralClient() # Define collection name collection_name = "quickstart" # Check if the collection already exists existing_collections = chroma_client.list_collections() if collection_name in [collection.name for collection in existing_collections]: chroma_collection = chroma_client.get_collection(collection_name) print(f"Using existing collection '{collection_name}'.") else: chroma_collection = chroma_client.create_collection(collection_name) print(f"Created new collection '{collection_name}'.") # Set up embedding model embed_model = OllamaEmbedding( model_name="snowflake-arctic-embed", base_url="http://localhost:11434", ollama_additional_kwargs={"prostatic": 0}, ) # Load documents documents = SimpleDirectoryReader("./data/paul_graham/").load_data() # Set up ChromaVectorStore and load in data vector_store = ChromaVectorStore(chroma_collection=chroma_collection) storage_context = StorageContext.from_defaults(vector_store=vector_store) index = VectorStoreIndex.from_documents( documents, storage_context=storage_context, embed_model=embed_model ) # Create query engine and perform query query_engine = index.as_query_engine() response = query_engine.query("What is llama index best suited for?") display_green_markdown(response)
這種索引類型在語意搜尋和可擴展性方面表現出色,非常適合大型資料集。
樹索引分層組織訊息,有利於結構化資料。
from llama_index.core import TreeIndex, SimpleDirectoryReader documents = SimpleDirectoryReader('data').load_data() tree_index = TreeIndex.from_documents(documents) query_engine = tree_index.as_query_engine() response = query_engine.query("Explain the tree index structure.") display_green_markdown(response)
樹索引對於具有自然層次結構的資料特別有效,例如組織結構或分類法。
關鍵字表索引針對基於關鍵字的高效檢索進行了最佳化。
from llama_index.core import KeywordTableIndex, SimpleDirectoryReader documents = SimpleDirectoryReader('data/paul_graham').load_data() keyword_index = KeywordTableIndex.from_documents(documents) query_engine = keyword_index.as_query_engine() response = query_engine.query("What is the keyword table index in llama index?") display_green_markdown(response)
此索引類型非常適合需要根據特定關鍵字快速尋找的場景。
有效的文字分塊對於索引效能至關重要。 LlamaIndex 提供了多種分塊方法:
from llama_index.core.node_parser import SimpleNodeParser parser = SimpleNodeParser.from_defaults(chunk_size=1024) documents = SimpleDirectoryReader('data').load_data() nodes = parser.get_nodes_from_documents(documents) print(nodes[0])
嘗試不同的分塊策略,以找到上下文保留和查詢效能之間的最佳平衡。
LlamaIndex 支援各種嵌入模型。以下是如何使用 Ollama 進行嵌入:
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader from llama_index.embeddings.ollama import OllamaEmbedding embed_model = OllamaEmbedding( model_name="snowflake-arctic-embed", base_url="http://localhost:11434", ollama_additional_kwargs={"mirostat": 0}, ) index = VectorStoreIndex.from_documents(documents, embed_model=embed_model) query_engine = index.as_query_engine() response = query_engine.query("What is an embedding model used for in LlamaIndex?") display_green_markdown(response)
嘗試不同的 Ollama 模型並調整參數,以針對您的特定用例最佳化嵌入品質。
LlamaIndex 簡化了從不同類型的多個文件建立索引的過程:
txt_docs = SimpleDirectoryReader('data/paul_graham').load_data() web_docs = SimpleDirectoryReader('web_pages').load_data() data = txt_docs + web_docs all_docs = txt_docs + web_docs index = VectorStoreIndex.from_documents(all_docs) query_engine = index.as_query_engine() response = query_engine.query("How do you create a multi-document index in LlamaIndex?") display_green_markdown(response)
要有效地查詢多個文檔,您可以實施相關性評分並管理上下文邊界:
from llama_index.core import QueryBundle from llama_index.core.query_engine import RetrieverQueryEngine retriever = index.as_retriever(similarity_top_k=5) query_engine = RetrieverQueryEngine.from_args(retriever, response_mode="compact") query = QueryBundle("How do you query across multiple documents?") response = query_engine.query(query) display_green_markdown(response)
在 LlamaIndex 和 Ollama 系列的第二部分中,我們探索了高級索引技術,包括:
如果您想支持我或給我買啤酒,請隨時加入我的 Patreon jamesbmour
以上是使用 LlamaIndex 和 Ollama 的高級索引技術:第 2 部分的詳細內容。更多資訊請關注PHP中文網其他相關文章!