首頁 >科技週邊 >人工智慧 >快速建立大型語言模型AI知識庫，只需三分鐘

快速建立大型語言模型AI知識庫，只需三分鐘

WBOY轉載: 2023-11-26 11:18:522131瀏覽

FastGPT

FastGPT 是一個使用 LLM 大語言模型建立的知識庫問答系統，可以提供即插即用的資料處理和模型呼叫功能。同時，它也支援透過Flow 視覺化工作流程編排，以實現複雜的問答場景

知識庫核心流程圖

快速建立大型語言模型AI知識庫，只需三分鐘圖片

圖片來源：https://doc.fastgpt.in

私有化部署

這裡使用 Docker Compose 快速進行FastGPT 民營化部署

1、安裝Docker

# 安装 Dockercurl -fsSL https://get.docker.com | bash -s docker --mirror Aliyunsystemctl enable --now docker# 安装 docker-composecurl -L https://github.com/docker/compose/releases/download/2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-compose# 验证安装docker -vdocker-compose -v

如果已經安裝，直接跳過就是

2、容器編排

mkdir tinywan-fastgptcd tinywan-fastgpt

以上建立目錄路徑為/d/Tinywan/GPT/tinywan-fastgpt

docker-compose.yml 設定檔

version: '3.3'services:pg:image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云container_name: pgrestart: alwaysports: # 生产环境建议不要暴露- 5432:5432networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果- POSTGRES_USER=username- POSTGRES_PASSWORD=password- POSTGRES_DB=postgresvolumes:- ./pg/data:/var/lib/postgresql/datamongo:image: mongo:5.0.18# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云container_name: mongorestart: alwaysports: # 生产环境建议不要暴露- 27017:27017networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果- MONGO_INITDB_ROOT_USERNAME=username- MONGO_INITDB_ROOT_PASSWORD=passwordvolumes:- ./mongo/data:/data/dbfastgpt:container_name: fastgptimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云ports:- 3000:3000networks:- fastgptdepends_on:- mongo- pgrestart: alwaysenvironment:# root 密码，用户名为: root- DEFAULT_ROOT_PSW=123465# 中转地址，如果是用官方号，不需要管- OPENAI_BASE_URL=https://api.openai.com/v1- CHAT_API_KEY=sb-xxx- DB_MAX_LINK=5 # database max link- TOKEN_KEY=any- ROOT_KEY=root_key- FILE_TOKEN_KEY=filetoken# mongo 配置，不需要改. 如果连不上，可能需要去掉 ?authSource=admin- MONGODB_URI=mongodb://username:password@mongo:27017/fastgpt?authSource=admin# pg配置. 不需要改- PG_URL=postgresql://username:password@pg:5432/postgresvolumes:- ./config.json:/app/data/config.jsonnetworks:fastgpt:

附註：請填入CHAT_API_KEY對應的值。

config.json 設定檔

{"SystemParams": {"pluginBaseUrl": "","vectorMaxProcess": 15,"qaMaxProcess": 15,"pgHNSWEfSearch": 100},"ChatModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","price": 0,"maxContext": 16000,"maxResponse": 4000,"quoteMaxToken": 2000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-3.5-turbo-16k","name": "GPT35-16k","maxContext": 16000,"maxResponse": 16000,"price": 0,"quoteMaxToken": 8000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-4","name": "GPT4-8k","maxContext": 8000,"maxResponse": 8000,"price": 0,"quoteMaxToken": 4000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-4-vision-preview","name": "GPT4-Vision","maxContext": 128000,"maxResponse": 4000,"price": 0,"quoteMaxToken": 100000,"maxTemperature": 1.2,"censor": false,"vision": true,"defaultSystemChatPrompt": ""}],"QAModels": [{"model": "gpt-3.5-turbo-16k","name": "GPT35-16k","maxContext": 16000,"maxResponse": 16000,"price": 0}],"CQModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 16000,"maxResponse": 4000,"price": 0,"functionCall": true,"functionPrompt": ""},{"model": "gpt-4","name": "GPT4-8k","maxContext": 8000,"maxResponse": 8000,"price": 0,"functionCall": true,"functionPrompt": ""}],"ExtractModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 16000,"maxResponse": 4000,"price": 0,"functionCall": true,"functionPrompt": ""}],"QGModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 1600,"maxResponse": 4000,"price": 0}],"VectorModels": [{"model": "text-embedding-ada-002","name": "Embedding-2","price": 0.2,"defaultToken": 700,"maxToken": 3000}],"AudioSpeechModels": [{"model": "tts-1","name": "OpenAI TTS1","price": 0,"voices": [{"label": "Alloy","value": "alloy","bufferId": "openai-Alloy"},{"label": "Echo","value": "echo","bufferId": "openai-Echo"},{"label": "Fable","value": "fable","bufferId": "openai-Fable"},{"label": "Onyx","value": "onyx","bufferId": "openai-Onyx"},{"label": "Nova","value": "nova","bufferId": "openai-Nova"},{"label": "Shimmer","value": "shimmer","bufferId": "openai-Shimmer"}]}],"WhisperModel": {"model": "whisper-1","name": "Whisper1","price": 0}}

3、啟動容器

#透過指令docker-compose pull 取得更新版本的映像

快速建立大型語言模型AI知識庫，只需三分鐘 #圖片

透過指令docker-compose up -d 啟動容器

快速建立大型語言模型AI知識庫，只需三分鐘圖片

查看容器的啟動狀態

快速建立大型語言模型AI知識庫，只需三分鐘圖片

4、存取FastGPT

#目前可以透過 ip:3000 直接存取。這裡是本地部署，所以直接透過 http://127.0.0.1:3000 直接存取即可。

已部署成功，可存取下列頁面：

快速建立大型語言模型AI知識庫，只需三分鐘 #圖片

登入使用者名稱為 root，密碼為docker-compose.yml環境變數裡設定的 DEFAULT_ROOT_PSW。

成功登錄，您將被重定向到以下頁面：

快速建立大型語言模型AI知識庫，只需三分鐘圖片

##建立知識庫

創建知識庫

登入成功後，我們可以新建一個知識庫，並將其命名為開源技術小堆疊

快速建立大型語言模型AI知識庫，只需三分鐘圖片

#將個人經驗導入知識庫的方式是透過檔案

需要進行改寫的內容是：【新建/匯入】【檔案導入】。改寫後的內容：【建立/導入】【檔案導入】

快速建立大型語言模型AI知識庫，只需三分鐘圖片

確認後就開始將目前資料轉換為向量資料

快速建立大型語言模型AI知識庫，只需三分鐘圖片

在選擇檔案匯入時，可以選擇直接分段方案。直接分段會利用句子分詞器對文字進行一定長度拆分，最後分割成多組的q。如果選擇了直接分段方案，建議在套用設定引用提示字時，使用通用範本即可，無需選擇問答範本

#匯入成功

快速建立大型語言模型AI知識庫，只需三分鐘图片

至此，个人知识库已经建好了。尝试进行测试问答

快速建立大型語言模型AI知識庫，只需三分鐘图片

重新书写后的内容：重新连接训练数据

https://mp.weixin.qq.com/s/1GD8eKrxJWXdgS3OKR4VHQhttps://mp.weixin.qq.com/s/BFdfDXHavZ_jZwVaFq2duQhttps://mp.weixin.qq.com/s/mNhMCzUtLUKrIzqSVa-qZAhttps://mp.weixin.qq.com/s/n4n-0UCWJW9u2N1ca3HisQhttps://mp.weixin.qq.com/s/WXAPxHYteX7h1Hu73KEnFQhttps://mp.weixin.qq.com/s/chI8IbenaMFejvS7blLsBw

快速建立大型語言模型AI知識庫，只需三分鐘图片