在linux服务器上可快速部署mistral ai模型并启用本地api服务：需ubuntu 22.04或debian 12系统，安装依赖后创建虚拟环境，运行官方一键部署脚本自动完成gpu检测、模型下载与vllm服务启动，默认监听0.0.0.0:8000。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
在Linux服务器上快速部署Mistral AI模型，避免手动编译、依赖冲突和路径混乱，直接获得可调用的本地API服务。
准备基础运行环境
执行前确认系统为Ubuntu 22.04或Debian 12，且已联网。不支持CentOS/RHEL系发行版，强行运行会导致cmake编译失败。
更新系统并安装必要工具：sudo apt update && sudo apt install -y git curl wget build-essential python3-pip python3-venv
创建专用虚拟环境：python3 -m venv /opt/mistral-env && source /opt/mistral-env/bin/activate
升级pip至最新版（旧版本无法正确解析pyproject.toml中的Poetry依赖）：pip install --upgrade pip
下载并运行一键部署脚本
直接拉取官方维护的部署脚本（截至2026年6月最新版）：curl -fsSL https://raw.githubusercontent.com/mistralai/deploy-scripts/main/linux-deploy.sh -o /tmp/mistral-deploy.sh
在无 root/sudo 权限的环境（云容器、VPS、隔离主机）中安装并配置 OpenClaw 浏览器工具的 headless Chrome。适用场景：...
赋予执行权限并运行：【chmod +x /tmp/mistral-deploy.sh && sudo /tmp/mistral-deploy.sh】
脚本将自动完成以下操作：检测GPU可用性→选择CPU或CUDA推理路径→克隆llama.cpp→编译binaries→下载Q4_K_M量化模型→生成config.yaml→启动vLLM服务监听0.0.0.0:8000
注意：若服务器无NVIDIA GPU，脚本默认启用CPU模式，此时会跳过CUDA相关检查，但【必须确保系统内存≥32GB】，否则模型加载阶段会因OOM被kill。
验证服务是否就绪
等待终端输出“✅ API server is ready at http://localhost:8000/v1/chat/completions”后，执行测试请求：
curl -X POST http://localhost:8000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "mistral-7b-instruct-v0.2", "messages": [{"role": "user", "content": "你好，请用中文简单介绍你自己"}], "max_tokens": 128 }'
成功响应将返回JSON格式结果，包含"choices"字段及生成文本；若返回"Connection refused"，说明vLLM进程未启动，需检查/opt/mistral-env/logs/server.log中最后一行错误提示。
该请求无需额外认证，服务默认关闭鉴权——生产环境务必在启动前修改config.yaml中的api_key配置项。
