首页 > 文章 > 科技周边 > 快速建立大型语言模型AI知识库，仅需三分钟

快速建立大型语言模型AI知识库，仅需三分钟

WBOY转载: 2023-11-26 11:18:521973浏览

FastGPT

FastGPT 是一个使用 LLM 大语言模型构建的知识库问答系统，可以提供即插即用的数据处理和模型调用功能。同时，它还支持通过 Flow 可视化工作流编排，以实现复杂的问答场景

知识库核心流程图

快速建立大型语言模型AI知识库，仅需三分钟图片

图片来源：https://doc.fastgpt.in

私有化部署

这里使用 Docker Compose 快速进行 FastGPT 私有化部署

1、安装 Docker

# 安装 Dockercurl -fsSL https://get.docker.com | bash -s docker --mirror Aliyunsystemctl enable --now docker# 安装 docker-composecurl -L https://github.com/docker/compose/releases/download/2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-compose# 验证安装docker -vdocker-compose -v

如果已经安装，直接跳过就是

2、容器编排

mkdir tinywan-fastgptcd tinywan-fastgpt

以上创建目录路径为/d/Tinywan/GPT/tinywan-fastgpt

docker-compose.yml 配置文件

version: '3.3'services:pg:image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云container_name: pgrestart: alwaysports: # 生产环境建议不要暴露- 5432:5432networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果- POSTGRES_USER=username- POSTGRES_PASSWORD=password- POSTGRES_DB=postgresvolumes:- ./pg/data:/var/lib/postgresql/datamongo:image: mongo:5.0.18# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云container_name: mongorestart: alwaysports: # 生产环境建议不要暴露- 27017:27017networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果- MONGO_INITDB_ROOT_USERNAME=username- MONGO_INITDB_ROOT_PASSWORD=passwordvolumes:- ./mongo/data:/data/dbfastgpt:container_name: fastgptimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云ports:- 3000:3000networks:- fastgptdepends_on:- mongo- pgrestart: alwaysenvironment:# root 密码，用户名为: root- DEFAULT_ROOT_PSW=123465# 中转地址，如果是用官方号，不需要管- OPENAI_BASE_URL=https://api.openai.com/v1- CHAT_API_KEY=sb-xxx- DB_MAX_LINK=5 # database max link- TOKEN_KEY=any- ROOT_KEY=root_key- FILE_TOKEN_KEY=filetoken# mongo 配置，不需要改. 如果连不上，可能需要去掉 ?authSource=admin- MONGODB_URI=mongodb://username:password@mongo:27017/fastgpt?authSource=admin# pg配置. 不需要改- PG_URL=postgresql://username:password@pg:5432/postgresvolumes:- ./config.json:/app/data/config.jsonnetworks:fastgpt:

注：请填写CHAT_API_KEY对应的值。

config.json 配置文件

{"SystemParams": {"pluginBaseUrl": "","vectorMaxProcess": 15,"qaMaxProcess": 15,"pgHNSWEfSearch": 100},"ChatModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","price": 0,"maxContext": 16000,"maxResponse": 4000,"quoteMaxToken": 2000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-3.5-turbo-16k","name": "GPT35-16k","maxContext": 16000,"maxResponse": 16000,"price": 0,"quoteMaxToken": 8000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-4","name": "GPT4-8k","maxContext": 8000,"maxResponse": 8000,"price": 0,"quoteMaxToken": 4000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-4-vision-preview","name": "GPT4-Vision","maxContext": 128000,"maxResponse": 4000,"price": 0,"quoteMaxToken": 100000,"maxTemperature": 1.2,"censor": false,"vision": true,"defaultSystemChatPrompt": ""}],"QAModels": [{"model": "gpt-3.5-turbo-16k","name": "GPT35-16k","maxContext": 16000,"maxResponse": 16000,"price": 0}],"CQModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 16000,"maxResponse": 4000,"price": 0,"functionCall": true,"functionPrompt": ""},{"model": "gpt-4","name": "GPT4-8k","maxContext": 8000,"maxResponse": 8000,"price": 0,"functionCall": true,"functionPrompt": ""}],"ExtractModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 16000,"maxResponse": 4000,"price": 0,"functionCall": true,"functionPrompt": ""}],"QGModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 1600,"maxResponse": 4000,"price": 0}],"VectorModels": [{"model": "text-embedding-ada-002","name": "Embedding-2","price": 0.2,"defaultToken": 700,"maxToken": 3000}],"AudioSpeechModels": [{"model": "tts-1","name": "OpenAI TTS1","price": 0,"voices": [{"label": "Alloy","value": "alloy","bufferId": "openai-Alloy"},{"label": "Echo","value": "echo","bufferId": "openai-Echo"},{"label": "Fable","value": "fable","bufferId": "openai-Fable"},{"label": "Onyx","value": "onyx","bufferId": "openai-Onyx"},{"label": "Nova","value": "nova","bufferId": "openai-Nova"},{"label": "Shimmer","value": "shimmer","bufferId": "openai-Shimmer"}]}],"WhisperModel": {"model": "whisper-1","name": "Whisper1","price": 0}}

3、启动容器

通过命令docker-compose pull 获取更新版本的镜像

快速建立大型语言模型AI知识库，仅需三分钟图片

通过命令docker-compose up -d 启动容器

快速建立大型语言模型AI知识库，仅需三分钟图片

查看容器的启动状态

快速建立大型语言模型AI知识库，仅需三分钟图片

4、访问 FastGPT

目前可以通过 ip:3000 直接访问。这里是本地部署，所以直接通过 http://127.0.0.1:3000 直接访问即可。

部署成功，可访问以下页面：

快速建立大型语言模型AI知识库，仅需三分钟图片

登录用户名为 root，密码为docker-compose.yml环境变量里设置的 DEFAULT_ROOT_PSW。

成功登录，您将被重定向到以下页面：

快速建立大型语言模型AI知识库，仅需三分钟图片

构建知识库

创建知识库

登录成功后，我们可以新建一个知识库，并将其命名为开源技术小栈

快速建立大型语言模型AI知识库，仅需三分钟图片

将个人经历导入知识库的方式是通过文件

需要进行改写的内容是：【新建/导入】【文件导入】。改写后的内容：【创建/导入】【文件导入】

快速建立大型语言模型AI知识库，仅需三分钟图片

确认后就开始将当前数据转化为向量数据

快速建立大型语言模型AI知识库，仅需三分钟图片

在选择文件导入时，可以选择直接分段方案。直接分段会利用句子分词器对文本进行一定长度拆分，最终分割成多组的q。如果选择了直接分段方案，建议在应用设置引用提示词时，使用通用模板即可，无需选择问答模板

导入成功

快速建立大型语言模型AI知识库，仅需三分钟图片

至此，个人知识库已经建好了。尝试进行测试问答

快速建立大型语言模型AI知识库，仅需三分钟图片

重新书写后的内容：重新连接训练数据

https://mp.weixin.qq.com/s/1GD8eKrxJWXdgS3OKR4VHQhttps://mp.weixin.qq.com/s/BFdfDXHavZ_jZwVaFq2duQhttps://mp.weixin.qq.com/s/mNhMCzUtLUKrIzqSVa-qZAhttps://mp.weixin.qq.com/s/n4n-0UCWJW9u2N1ca3HisQhttps://mp.weixin.qq.com/s/WXAPxHYteX7h1Hu73KEnFQhttps://mp.weixin.qq.com/s/chI8IbenaMFejvS7blLsBw

快速建立大型语言模型AI知识库，仅需三分钟图片