단 3분만에 대규모 언어모델 AI 지식베이스를 빠르게 구축

FastGPT

FastGPT는 플러그 앤 플레이 데이터 처리 및 모델 호출 기능을 제공할 수 있는 LLM 대규모 언어 모델을 사용하여 구축된 지식 기반 질문 및 답변 시스템입니다. 동시에 복잡한 질문 및 답변 시나리오를 실현하기 위한 Flow 시각적 워크플로 조정도 지원합니다

지식 기반 핵심 흐름 차트

Picture

사진 출처: https://doc.fastgpt.in

개인 배포

여기에서는 Docker Compose를 사용하여 FastGPT

1. Docker를 설치합니다

# 安装 Dockercurl -fsSL https://get.docker.com | bash -s docker --mirror Aliyunsystemctl enable --now docker# 安装 docker-composecurl -L https://github.com/docker/compose/releases/download/2.20.3/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-composechmod +x /usr/local/bin/docker-compose# 验证安装docker -vdocker-compose -v

이미 설치되어 있으면 건너뛰세요

2. 로컬 디렉터리를 만들고 디렉터리를 입력하세요.

mkdir tinywan-fastgptcd tinywan-fastgpt

위에서 생성된 디렉터리 경로는 /d/Tinywan/GPT/tinywan-fastgpt

docker-compose.yml 구성 파일

version: '3.3'services:pg:image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云container_name: pgrestart: alwaysports: # 生产环境建议不要暴露- 5432:5432networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果- POSTGRES_USER=username- POSTGRES_PASSWORD=password- POSTGRES_DB=postgresvolumes:- ./pg/data:/var/lib/postgresql/datamongo:image: mongo:5.0.18# image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18 # 阿里云container_name: mongorestart: alwaysports: # 生产环境建议不要暴露- 27017:27017networks:- fastgptenvironment:# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果- MONGO_INITDB_ROOT_USERNAME=username- MONGO_INITDB_ROOT_PASSWORD=passwordvolumes:- ./mongo/data:/data/dbfastgpt:container_name: fastgptimage: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:latest # 阿里云ports:- 3000:3000networks:- fastgptdepends_on:- mongo- pgrestart: alwaysenvironment:# root 密码，用户名为: root- DEFAULT_ROOT_PSW=123465# 中转地址，如果是用官方号，不需要管- OPENAI_BASE_URL=https://api.openai.com/v1- CHAT_API_KEY=sb-xxx- DB_MAX_LINK=5 # database max link- TOKEN_KEY=any- ROOT_KEY=root_key- FILE_TOKEN_KEY=filetoken# mongo 配置，不需要改. 如果连不上，可能需要去掉 ?authSource=admin- MONGODB_URI=mongodb://username:password@mongo:27017/fastgpt?authSource=admin# pg配置. 不需要改- PG_URL=postgresql://username:password@pg:5432/postgresvolumes:- ./config.json:/app/data/config.jsonnetworks:fastgpt:

참고: CHAT_API_KEY에 해당하는 값을 채워주세요.

config.json 구성 파일

{"SystemParams": {"pluginBaseUrl": "","vectorMaxProcess": 15,"qaMaxProcess": 15,"pgHNSWEfSearch": 100},"ChatModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","price": 0,"maxContext": 16000,"maxResponse": 4000,"quoteMaxToken": 2000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-3.5-turbo-16k","name": "GPT35-16k","maxContext": 16000,"maxResponse": 16000,"price": 0,"quoteMaxToken": 8000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-4","name": "GPT4-8k","maxContext": 8000,"maxResponse": 8000,"price": 0,"quoteMaxToken": 4000,"maxTemperature": 1.2,"censor": false,"vision": false,"defaultSystemChatPrompt": ""},{"model": "gpt-4-vision-preview","name": "GPT4-Vision","maxContext": 128000,"maxResponse": 4000,"price": 0,"quoteMaxToken": 100000,"maxTemperature": 1.2,"censor": false,"vision": true,"defaultSystemChatPrompt": ""}],"QAModels": [{"model": "gpt-3.5-turbo-16k","name": "GPT35-16k","maxContext": 16000,"maxResponse": 16000,"price": 0}],"CQModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 16000,"maxResponse": 4000,"price": 0,"functionCall": true,"functionPrompt": ""},{"model": "gpt-4","name": "GPT4-8k","maxContext": 8000,"maxResponse": 8000,"price": 0,"functionCall": true,"functionPrompt": ""}],"ExtractModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 16000,"maxResponse": 4000,"price": 0,"functionCall": true,"functionPrompt": ""}],"QGModels": [{"model": "gpt-3.5-turbo-1106","name": "GPT35-1106","maxContext": 1600,"maxResponse": 4000,"price": 0}],"VectorModels": [{"model": "text-embedding-ada-002","name": "Embedding-2","price": 0.2,"defaultToken": 700,"maxToken": 3000}],"AudioSpeechModels": [{"model": "tts-1","name": "OpenAI TTS1","price": 0,"voices": [{"label": "Alloy","value": "alloy","bufferId": "openai-Alloy"},{"label": "Echo","value": "echo","bufferId": "openai-Echo"},{"label": "Fable","value": "fable","bufferId": "openai-Fable"},{"label": "Onyx","value": "onyx","bufferId": "openai-Onyx"},{"label": "Nova","value": "nova","bufferId": "openai-Nova"},{"label": "Shimmer","value": "shimmer","bufferId": "openai-Shimmer"}]}],"WhisperModel": {"model": "whisper-1","name": "Whisper1","price": 0}}

3. 컨테이너 시작

docker-compose pull

picture

명령을 통해 이미지의 업데이트된 버전을 가져옵니다. compose up -d

Pictures

컨테이너의 시작 상태 보기

Pictures 4. FastGPT 액세스

는 현재 ip:3000을 통해 직접 액세스할 수 있습니다. 이는 로컬 배포이므로 http://127.0.0.1:3000을 통해 직접 액세스할 수 있습니다.

배포가 성공했으며 다음 페이지에 액세스할 수 있습니다.

Pictures로그인 사용자 이름은 root이고 비밀번호는 docker-compose.yml 환경 변수에 설정된 DEFAULT_ROOT_PSW입니다.

로그인에 성공하면 다음 페이지로 리디렉션됩니다:

사진 지식 베이스 구축

지식 베이스 생성

로그인에 성공하면 새로운 지식 베이스를 생성하고 이름을 오픈 소스 기술로 지정할 수 있습니다. Xiaozhan

Pictures개인 경험을 지식 베이스로 가져오는 방법은 파일을 통하는 것입니다

다시 작성해야 하는 콘텐츠는 [새로 만들기/가져오기] [파일 가져오기]입니다. 재작성된 콘텐츠: [만들기/가져오기] [파일 가져오기]

Pictures확인 후 현재 데이터를 벡터 데이터로 변환 시작

Pictures가져올 파일을 선택할 때 다음을 선택할 수 있습니다. 직접 분할 계획. 직접 분할은 문장 분할기를 사용하여 텍스트를 특정 길이로 분할하고 마지막으로 여러 개의 q 그룹으로 분할합니다. 직접 분할 솔루션을 선택하는 경우 애플리케이션에서 인용 프롬프트 단어를 설정할 때 일반 템플릿을 사용하는 것이 좋습니다.

가져오기 성공

图片

至此，个人知识库已经建好了。尝试进行测试问答

图片

重新书写后的内容：重新连接训练数据

https://mp.weixin.qq.com/s/1GD8eKrxJWXdgS3OKR4VHQhttps://mp.weixin.qq.com/s/BFdfDXHavZ_jZwVaFq2duQhttps://mp.weixin.qq.com/s/mNhMCzUtLUKrIzqSVa-qZAhttps://mp.weixin.qq.com/s/n4n-0UCWJW9u2N1ca3HisQhttps://mp.weixin.qq.com/s/WXAPxHYteX7h1Hu73KEnFQhttps://mp.weixin.qq.com/s/chI8IbenaMFejvS7blLsBw

图片

等待所有数据准备就绪

图片

使用知识库

创建应用

使用知识库必须要创建一个应用

图片

关联知识库

已添加开场白并选择绑定相应的知识库开源技术堆栈

图片

点击保存预留后，可以直接在右边调试预览框预览对话进行文档内容测试。

开始对话

图片

图片

请点击链接查看知识库引用

图片

打开对应链接可以直接跳转到微信公众号文章地址

总结

构建私有数据训练服务，针对问题提供精准回答。可以通过AI服务训练自有数据，形成AI知识库，然后创建不同的机器人针对用户问题提供精准回答。并且可以通过API接口很方便整合到自己的产品服务中。

위 내용은 단 3분만에 대규모 언어모델 AI 지식베이스를 빠르게 구축의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!