如何从文件加载 RetrievalQA 模型并复用推理能力-Python教程-PHP中文网

如何从文件加载 RetrievalQA 模型并复用推理能力

本文介绍如何将已保存的 langchain retrievalqa 链（.yaml 格式）安全加载回内存，并强调关键依赖项（如 retriever 必须显式传入）、兼容性限制（仅 openai 等可序列化 llm 支持完整保存/加载），并提供可运行示例与注意事项。

本文介绍如何将已保存的 langchain retrievalqa 链（.yaml 格式）安全加载回内存，并强调关键依赖项（如 retriever 必须显式传入）、兼容性限制（仅 openai 等可序列化 llm 支持完整保存/加载），并提供可运行示例与注意事项。

LangChain 的 RetrievalQA 链支持序列化到磁盘，便于模型部署、服务重启或跨环境复用。但需注意：保存（.save()）与加载（load_chain()）并非完全对称操作——部分组件（尤其是 retriever 和 llm）因无法被通用序列化，必须在加载时手动注入。

✅ 正确加载方式

使用 langchain.chains.load_chain 函数加载 YAML 文件，并必须显式传入 retriever 实例（因为 retriever 通常包含向量数据库连接、嵌入模型等不可序列化对象）：

from langchain.chains import load_chain

# 确保 retriever 已重建（例如重新初始化 Chroma 向量库 + Embeddings）
# 注意：retriever 必须与保存前逻辑一致（相同索引、相同 embedding model）
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})

# 加载链（路径需与保存时一致）
model_path = "C:/users/devpa/documents/models/chain_model.yaml"
chain = load_chain(
    path=model_path,
    retriever=retriever,  # ⚠️ 必填参数！不可省略
)

⚠️ 关键限制与注意事项

LLM 兼容性要求严格：
HuggingFaceEndpoint、Ollama 或自定义 LLM 类通常不支持序列化保存，调用 .save() 会静默失败或生成不完整 YAML。目前仅 OpenAI、AzureOpenAI 等官方支持序列化的 LLM 可靠工作。验证方法：检查生成的 .yaml 文件是否包含 llm: 字段及其完整配置。
retriever 不可被保存，必须重建：
RetrievalQA.save() 仅保存链结构与提示模板，不会保存向量库或嵌入模型。因此加载前务必确保 retriever 已正确初始化（包括加载相同的向量存储、使用匹配的 embedding model）。
YAML 文件内容不可手动编辑：
修改 chain_model.yaml 中的类名、模块路径或参数类型可能导致 load_chain() 解析失败。建议仅通过代码控制链构建与保存流程。

✅ 完整工作流示例（推荐实践）

# 1. 构建并保存（仅限 OpenAI 等兼容 LLM）
from langchain.chains import RetrievalQA
from langchain.llms import OpenAI

llm = OpenAI(model_name="gpt-3.5-turbo", temperature=0)
chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    input_key="query",
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT},
)
chain.save("chain_model.yaml")

# 2. 加载并推理（同一 Python 进程或新会话中）
from langchain.chains import load_chain

# 重建 retriever（关键！）
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})
loaded_chain = load_chain("chain_model.yaml", retriever=retriever)

# 使用
result = loaded_chain({"query": "LangChain 的 RetrievalQA 如何工作？"})
print(result["result"])
print("来源文档:", [doc.metadata.get("source", "unknown") for doc in result["source_documents"]])