openclawai支持四大推理后端：一、原生llama.cpp（wsl2+ubuntu，零gpu依赖）；二、高性能vllm（需rocm/cuda，rest调用）；三、企业级tensorrt-llm（通过triton http对接）；四、实验性ollama（仅限macos或cuda ubuntu，功能受限）。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您正在配置 OpenClawAI 并希望选择最适配的推理后端，需明确其原生支持与扩展兼容的运行时环境。OpenClawAI 并非单一推理引擎，而是一个协同调度框架，其执行层依赖外部后端提供底层算力支撑。以下是针对不同后端的兼容性验证与接入方式：
一、原生支持：llama.cpp 后端
OpenClawAI 在 Windows 平台默认采用 WSL2 环境，通过轻量级 llama.cpp 作为首选推理后端，该组合具备零 GPU 驱动依赖、低内存占用和跨架构兼容特性，适用于 Ryzen、Radeon 及 Intel 核显平台。
1、在 Windows 中启用 WSL2，并安装 Ubuntu 22.04 发行版。
2、通过 git clone https://github.com/ggerganov/llama.cpp 获取最新 llama.cpp 源码。
3、执行 make -j$(nproc) 编译支持 CUDA 或 Vulkan 的量化推理二进制。
4、将编译后的 main 或 server 可执行文件路径写入 OpenClawAI 配置文件中的 backend_path 字段。
5、启动 OpenClawAI 时指定 --backend llama.cpp 参数完成绑定。
二、高性能扩展：vLLM 后端
vLLM 提供 PagedAttention 与动态批处理能力，是 OpenClawAI 在 Linux（ROCm/CUDA）环境下实现高吞吐推理的关键扩展选项。该后端需独立部署 vLLM API 服务，OpenClawAI 以 OpenAI 兼容 REST 接口方式调用。
1、在 Ubuntu 22.04 系统中安装 ROCm 6.0+（AMD）或 CUDA 12.1+（NVIDIA）驱动及对应 runtime。
2、创建 Python 3.11 虚拟环境，执行 pip install vllm==0.6.3.post1（需匹配 OpenClawAI v0.4.2+ 版本）。
3、运行 vllm serve --model meta-llama/Llama-2-13b-chat-hf --tensor-parallel-size 2 --port 8000 启动服务。
4、修改 OpenClawAI 的 config.yaml，将 llm_api_base 设为 http://localhost:8000/v1，并设置 backend_type: openai。
5、确保模型已使用 vllm convert-weights 工具转换为 vLLM 原生格式，否则加载失败。
三、企业级集成：TensorRT-LLM 后端
TensorRT-LLM 适用于对首 token 延迟与显存稳定性要求严苛的生产场景，OpenClawAI 通过其提供的 Triton Inference Server HTTP/REST 接口对接，不直接链接 TensorRT-LLM 运行时。
1、在 NVIDIA GPU 服务器上部署 TensorRT-LLM v0.12.0，使用 trtllm-build 工具生成优化 engine 文件。
2、配置 Triton Inference Server v24.02，将生成的模型仓库置于 /models/llama2_13b/1/ 路径下，并启用 HTTP 端口 8000。
3、验证接口可用性：执行 curl http://localhost:8000/v2/health/ready 返回 200。
4、在 OpenClawAI 配置中设置 llm_api_base: http://localhost:8000/v2 与 backend_type: triton。
5、确认 Triton server 日志中出现 "model 'llama2_13b' is ready" 字样后，重启 OpenClawAI 完成集成。
四、实验性支持：Ollama 后端
Ollama 因其简易部署特性被部分用户用于快速验证链路，但 OpenClawAI 仅支持其 OpenAI 兼容 API 模式，且存在 CUDA 版本锁死与 macOS 专属限制，不推荐用于 AMD 显卡或 Windows WSL2 环境。
1、在 macOS 或 Ubuntu（CUDA 12.1+）系统中安装 Ollama v0.3.9+，执行 ollama run llama3.1:8b 加载模型。
2、启动 Ollama 的 API 服务：设置环境变量 OLLAMA_ORIGINS="*" 后运行 OLLAMA_HOST=0.0.0.0:11434 ollama serve。
3、在 OpenClawAI 中配置 llm_api_base: http://localhost:11434/v1，并关闭所有量化预处理开关。
4、注意：Ollama 对 system prompt 注入 和 tool calling 格式 支持不完整，可能导致插件功能失效。
