需通过model bridge协议或部署huggingface模型至边缘节点接入自托管大模型：前者注册openai兼容api，后者用mule-edge-runtime在gpu服务器运行grpc服务。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在MuleRun中使用自托管或私有部署的大模型，而非平台预集成的云端模型，则需通过标准化协议将外部模型接入运行时环境。以下是实现该目标的具体路径：
一、通过Model Bridge协议注册OpenAI兼容接口
该方式要求外部模型服务提供符合OpenAI REST API规范的端点（如/v1/chat/completions），MuleRun通过Model Bridge协议自动识别并封装为可调度的本地模型资源，无需修改原始模型代码。
1、确保您的模型服务已启用HTTPS，并响应标准OpenAI格式的JSON请求与返回，包含model、messages、temperature等字段。
2、登录MuleRun控制台，进入「开发者中心」→「模型管理」→「添加自定义模型」。
3、填写模型标识符（如my-llm-v3）、基础URL（例如https://llm.internal.company.ai/v1）、API密钥（若需认证）及超时时间（建议设为60秒）。
4、点击「连接测试」，系统发送模拟请求验证响应结构有效性；若返回status=200且含choices字段，则标记为“就绪”。
5、在Agent编辑页的“基础模型”下拉菜单中，即可看到新增模型条目，选择后保存即完成绑定。
二、部署HuggingFace Transformers模型至MuleRun边缘节点
该方法适用于具备GPU资源的本地服务器或企业内网环境，通过MuleRun提供的mule-edge-runtime工具包，将HuggingFace Hub上的开源模型（如Qwen2.5、Phi-3-mini）一键打包为轻量容器，在边缘侧独立运行并暴露gRPC接口供主平台调用。
1、在具备NVIDIA GPU与Docker环境的服务器上执行：curl -sL https://get.mulerun.ai/edge | bash，安装mule-edge-runtime。
2、运行命令：mule-edge model pull --hf-id Qwen/Qwen2.5-0.5B-Instruct --device cuda:0，自动下载权重并启动推理服务。
3、服务启动后，默认监听localhost:50051，日志中显示grpc_endpoint: "192.168.1.100:50051"（实际IP以输出为准）。
4、回到MuleRun控制台「模型管理」页面，选择“gRPC模型”类型，填入该IP与端口，设置模型名称为qwen25-edge。
5、完成配置后，该模型将在Agent模型列表中显示为仅限内网访问｜延迟，表示已成功挂载至边缘节点。
三、加载LoRA微调权重注入已注册基础模型
该方式不引入新模型实例，而是在已有注册模型（如Qwen3）之上动态加载用户训练的LoRA适配器，实现领域知识增强与风格迁移，适用于法律、医疗等垂直场景的轻量定制。
1、将LoRA权重文件（adapter_model.bin与adapter_config.json）打包为ZIP，确保config中target_modules匹配基础模型架构（如qwen2、llama3）。
2、在「模型管理」页面找到目标基础模型（如Qwen3），点击右侧「附加LoRA」按钮。
3、上传ZIP包，系统自动校验SHA256哈希值并与基础模型版本做兼容性检查。
4、校验通过后，输入LoRA标识名（如qwen3-law-chinese），并设定激活开关条件（支持按Agent ID或输入关键词触发）。
5、保存后，所有绑定该基础模型的Agent在接收到包含“合同审查”或“判决书摘要”等关键词的请求时，将自动注入对应LoRA权重进行推理。
