openclawai加载yi-34b有三种方法：一、gguf格式+llama.cpp后端，轻量高效；二、transformers原生pytorch加载，需gpu支持；三、api proxy模式对接外部服务，适合资源受限场景。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在 OpenClawAI 中加载并运行零一万物的 Yi 系列大模型（如 Yi-34B），但发现默认配置不支持或加载失败，则可能是由于模型格式、Tokenizer 适配或推理后端未正确配置。以下是实现 OpenClawAI 兼容并加载 Yi-34B 的多种可行方法：
一、通过 GGUF 格式 + llama.cpp 后端加载 Yi-34B
OpenClawAI 支持 llama.cpp 作为本地推理后端，而 Yi-34B 已有社区量化版本（如 Q4_K_M）以 GGUF 格式发布，可直接被 llama.cpp 加载。该方法无需 Python 环境依赖，资源占用低，适合中等配置设备。
1、从 Hugging Face 或可信镜像源下载 Yi-34B 的 GGUF 量化模型文件，例如：Yi-34B-Chat-Q4_K_M.gguf。
2、将模型文件放入 OpenClawAI 的 models/llama-cpp/ 目录下（若目录不存在，请手动创建）。
3、编辑 OpenClawAI 配置文件 config.yaml，在 model 节点中指定：
model_type: llama-cpp
model_path: models/llama-cpp/Yi-34B-Chat-Q4_K_M.gguf
n_ctx: 4096
n_threads: 6
4、确保已安装适配的 llama.cpp 二进制（OpenClawAI v2026.3+ 自带，或手动替换为支持 Yi Tokenizer 的定制版）。
5、启动 OpenClawAI：执行 openclaw start，观察日志中是否出现 "llama_model_load: loaded meta data" 及模型参数行数确认信息。
二、通过 Transformers + AutoModelForCausalLM 加载原生 PyTorch 模型
该方法利用 OpenClawAI 的 Python 插件机制，调用 Hugging Face Transformers 库原生加载 Yi-34B 的 FP16 或 BF16 权重，保留完整生成能力与 chat template 支持，适用于具备 GPU 的本地环境。
1、确认系统已安装 CUDA 驱动及 torch 2.3+ 与 transformers 4.40+。
2、在 OpenClawAI 的插件目录 plugins/custom_llm/ 下新建 yi34b_loader.py，内容包含模型与分词器初始化逻辑。
3、在 config.yaml 中启用插件模式并指向该模块：
统一安全套件，为代理工作区提供一键安装、配置和编排全部11个OpenClaw安全工具——完整性、密钥、权限、网络、审计跟踪、签名、供应链、凭证、注入防护、合规与事件响应。
model_plugin: custom_llm.yi34b_loader
tokenizer_name_or_path: "01ai/Yi-34B-Chat"
model_name_or_path: "01ai/Yi-34B-Chat"
4、添加 trust_remote_code: true 参数以允许加载 Yi 自定义 modeling 文件。
5、启动时使用 --enable-python-plugin 标志：openclaw start --enable-python-plugin。
三、通过 OpenClawAI 的 API Proxy 模式对接外部 Yi-34B 服务
当本地硬件不足以运行 Yi-34B 时，可将 OpenClawAI 配置为代理客户端，将其请求转发至已部署的 Yi-34B API 服务（如使用 vLLM、Text Generation Inference 或 OpenBayes 上的 WasmEdge 实例），实现功能解耦与资源复用。
1、确保外部 Yi-34B 服务已启动并监听 HTTP 端口，例如：http://127.0.0.1:8080/v1/chat/completions。
2、在 config.yaml 中设置远程模型类型：
model_type: openai-compatible
api_base: http://127.0.0.1:8080/v1
api_key: sk-no-key-required
model_name: yi-34b-chat
3、验证外部服务返回的 /v1/models 接口是否包含 id: "yi-34b-chat" 字段。
4、在 OpenClawAI 启动后，向其发送聊天请求，检查日志中是否出现 "forwarding to external LLM endpoint" 提示。
5、注意将 OpenClawAI 的 system prompt 显式设为 Yi-34B 所需的 "system\n{content}" 格式，避免角色混淆。
