需通过ollama、fastchat或vllm三种方式部署vicuna模型：一、ollama本地运行vicuna:7b并配置openclaw对接其api；二、fastchat启动模型工作节点与openai api服务，再配置openclaw集成；三、vllm托管vicuna并启用openai兼容api，最后在openclaw中配置直连。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在OpenClawAI中使用Vicuna模型，但该模型未预置于默认配置列表中，则需通过自定义模型接入方式完成部署。Vicuna作为基于Llama架构微调的开源对话模型，需依托本地或远程推理服务（如Ollama、vLLM、FastChat）提供API接口，OpenClaw本身不直接加载.bin或.safetensors权重文件。以下是三种可行的加载路径：
一、通过Ollama本地运行Vicuna并对接OpenClaw
Ollama支持一键拉取并运行Vicuna系列模型（如vicuna:7b、vicuna:13b），并暴露标准OpenAI兼容API，是轻量级本地部署的首选方案。该方式无需编译、不依赖CUDA驱动版本，适用于MacOS/Linux/WSL2环境。
1、在终端执行命令拉取Vicuna模型：ollama run vicuna:7b，首次运行将自动下载约4.2GB模型文件。
2、确认Ollama服务已启动并监听默认端口：curl http://localhost:11434/api/tags，响应中应包含{"name":"vicuna:7b"}条目。
3、编辑OpenClaw主配置文件~/.openclaw/config.json，在models数组中新增如下条目：
4、保存配置后，在终端执行openclaw gateway run重启网关服务，使新模型注册生效。
5、使用openclaw tui进入交互终端，输入/model list命令，确认vicuna-7b-local出现在可用模型列表中。
二、通过FastChat部署Vicuna API服务并集成
FastChat提供高性能、多GPU支持的Vicuna部署方案，适用于需要高并发、低延迟响应的场景。其openai_api_server.py模块可将Vicuna模型封装为标准OpenAI风格HTTP接口，与OpenClaw的OpenAI协议适配器完全兼容。
1、克隆FastChat仓库并安装依赖：git clone https://github.com/lm-sys/FastChat && cd FastChat && pip install -e ".[model_worker,webui]"。
2、启动Vicuna模型工作节点：python -m fastchat.model.worker --controller-address http://localhost:21001 --model-path lmsys/vicuna-13b-v1.5。
3、启动OpenAI兼容API服务器：python -m fastchat.serve.openai_api_server --host 0.0.0.0 --port 8000 --controller-address http://localhost:21001。
4、在~/.openclaw/config.json中添加模型配置，base_url设为http://localhost:8000/v1，provider设为openai，model.id设为vicuna-13b-v1.5。
5、执行openclaw model reload --name vicuna-13b-api触发热重载，观察终端输出是否显示reloaded successfully。
三、使用vLLM托管Vicuna并配置OpenClaw直连
vLLM具备卓越的吞吐性能与PagedAttention内存优化机制，适合在NVIDIA GPU设备上部署Vicuna-7B/13B等中等规模模型。其OpenAI兼容API服务支持流式响应与动态批处理，可显著提升OpenClaw多会话并发能力。
1、安装vLLM：pip install vllm（需CUDA 12.1+及对应PyTorch版本）。
2、启动vLLM API服务器：python -m vllm.entrypoints.openai.api_server --model lmsys/vicuna-7b-v1.5 --dtype half --tensor-parallel-size 1 --host 0.0.0.0 --port 8080。
3、验证API可用性：curl http://localhost:8080/v1/models，确认返回包含vicuna-7b-v1.5模型信息。
4、在config.json中新增模型条目，设置base_url为http://localhost:8080/v1，api字段为openai-completions，model.name为Vicuna-7B-v1.5。
5、运行openclaw dashboard，访问http://localhost:18789，进入【Models】页，点击Test Connection验证连通性，状态变为绿色后启用该模型。
