创建您自己的 AI RAG 聊天机器人：LangChain 的 Python 指南

谁不想从他们的文档中得到即时答案？这正是 RAG 聊天机器人所做的——将检索与人工智能生成相结合，以实现快速、准确的响应！

在本指南中，我将向您展示如何使用 检索增强生成 (RAG) 以及 LangChain 和 Streamlit 创建聊天机器人。该聊天机器人将从知识库中提取相关信息并使用语言模型生成响应。

我将引导您完成每个步骤，提供多种响应生成选项，无论您使用 OpenAI、Gemini 还是 Fireworks — 确保灵活和具有成本效益的解决方案。

什么是检索增强生成 (RAG)？

RAG 是一种结合了检索和生成的方法，以提供更准确和上下文感知的聊天机器人响应。检索过程从知识库中提取相关文档，而生成过程则使用语言模型根据检索到的内容创建连贯的响应。这确保您的聊天机器人可以使用最新数据回答问题，即使语言模型本身尚未针对该信息进行专门训练。

想象一下您有一位私人助理，但他并不总是知道您问题的答案。因此，当你提出问题时，他们会翻阅书籍并找到相关信息（检索），然后他们总结这些信息并用自己的话告诉你（生成）。这本质上就是 RAG 的工作原理，结合了两全其美的优点。

在流程图中，RAG 流程有点像这样：

现在，让我们开始吧，建立我们自己的聊天机器人！

---

设置项目环境

本教程中我们将主要使用 Python，如果您是 JS 头，您可以按照说明并浏览 langchain js 的文档。

首先，我们需要设置项目环境。这包括创建项目目录、安装依赖项以及为不同语言模型设置 API 密钥。

1. 创建项目文件夹和虚拟环境

首先创建项目文件夹和虚拟环境：

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

2.安装依赖项

接下来，创建一个requirements.txt 文件来列出所有必需的依赖项：

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

现在，安装这些依赖项：

pip install -r requirements.txt

3. 设置 API 密钥

我们将使用 OpenAI、Gemini 或 Fireworks 来生成聊天机器人的响应。您可以根据自己的喜好选择其中任何一个。

如果您正在尝试，请不要担心，Fireworks 免费提供价值 1 美元的 API 密钥，gemini-1.5-flash 模型在一定程度上也是免费的！

设置 .env 文件来存储您首选模型的 API 密钥：

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

请务必注册这些服务并获取您的 API 密钥。 Gemini 和 Fireworks 均提供免费套餐，而 OpenAI 根据使用情况收费。

---

文档处理和分块

为了给聊天机器人提供上下文，我们需要处理文档并将它们分成可管理的块。这很重要，因为需要分解大文本以进行嵌入和索引。

1.创建document_processor.py

创建一个名为 document_processor.py 的新 Python 脚本来处理文档处理：

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

此脚本加载一个文本文件，并将其分割成约 1000 个字符的较小块，并有少量重叠，以确保块之间不会丢失上下文。处理完成后，文档就可以嵌入并建立索引了。

---

创建嵌入和索引

现在我们已经对文档进行了分块，下一步是将它们转换为嵌入（文本的数字表示）并为它们建立索引以便快速检索。 （因为机器理解数字比理解单词更容易）

1.创建embedding_indexer.py

创建另一个名为 embedding_indexer.py 的脚本：

pip install -r requirements.txt

在此脚本中，嵌入是使用 Hugging Face 模型（all-MiniLM-L6-v2）创建的。然后，我们将这些嵌入存储在 FAISS 矢量存储中，这使我们能够根据查询快速检索相似的文本块。

---

实施检索和响应生成

令人兴奋的部分来了：将检索与语言生成相结合！现在，您将创建一个 RAG 链 ，它从向量存储中获取相关块并使用语言模型生成响应。 （向量存储是一个数据库，我们存储转换为数字作为向量的数据）

1.创建rag_chain.py

让我们创建文件 rag_chain.py：

# Uncomment your API key
# OPENAI_API_KEY=your_openai_api_key_here
# GEMINI_API_KEY=your_gemini_api_key_here
# FIREWORKS_API_KEY=your_fireworks_api_key_here

在这里，我们根据您提供的 API 密钥在 OpenAI、Gemini 或 Fireworks 之间进行选择。 RAG 链将检索前 3 个最相关的文档，并使用语言模型生成响应。

您可以根据自己的预算或使用偏好在模型之间切换 - Gemini 和 Fireworks 是免费的，而 OpenAI 根据使用情况收费。

---

构建聊天机器人界面

现在，我们将构建一个简单的聊天机器人界面，以使用我们的 RAG 链获取用户输入并生成响应。

1.创建chatbot.py

创建一个名为chatbot.py的新文件：

mkdir rag-chatbot
cd rag-chatbot
python -m venv venv
source venv/bin/activate

此脚本创建一个命令行聊天机器人界面，持续侦听用户输入，通过 RAG 链对其进行处理，并返回生成的响应。

---

创建 Streamlit UI

是时候使用 Streamlit 构建 Web 界面，让您的聊天机器人更加用户友好。这将允许用户通过浏览器与您的聊天机器人交互。

1.创建app.py

创建app.py：

langchain==0.0.329
streamlit==1.27.2
faiss-cpu==1.7.4
python-dotenv==1.0.0
tiktoken==0.5.1
openai==0.27.10
gemini==0.3.1
fireworks==0.4.0
sentence_transformers==2.2.2

2. 运行 Streamlit 应用程序

要运行您的 Streamlit 应用程序，只需使用：

pip install -r requirements.txt

这将启动一个网络界面，您可以在其中上传文本文件、提出问题并从聊天机器人接收答案。

---

优化性能

为了获得更好的性能，您可以在分割文本时尝试块大小和重叠。较大的块提供更多上下文，但较小的块可能使检索速度更快。您还可以使用 Streamlit 缓存 来避免重复生成嵌入等昂贵的操作。

如果您想优化成本，可以根据查询复杂度在 OpenAI、Gemini 或 Fireworks 之间切换 — 使用 OpenAI 对于复杂的问题，Gemini 或 Fireworks 对于更简单的问题以降低成本。

---

总结

恭喜！您已成功创建自己的基于 RAG 的聊天机器人。现在，可能性是无限的：

• 创建您自己的个性化学习伙伴。
• 不再需要查看冗长的文档 - 只需“RAG it out”即可获得快速、准确的答案！

旅程从这里开始，潜力无限！

---

您可以在 GitHub 上关注我的工作。请随时与我联系 - 我的 DM 在 X 和 LinkedIn 上始终开放。

以上是创建您自己的 AI RAG 聊天机器人：LangChain 的 Python 指南的详细内容。更多信息请关注PHP中文网其他相关文章！