OpenClawAI支持五类多模态模型：一、原生OpenAI模型（gpt-4o/gpt-4o-mini/o1/o3）；二、国产开源模型（Yuan3.0 Ultra/Fun-CineForge/GLM-4.7-VL）；三、本地部署模型（llava-1.6-mistral/moondream2）；四、企业级闭源模型（DuClaw/ClawDBot-Vision/飞书插件）；五、跨平台智能路由机制。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在OpenClawAI框架中集成多模态模型以实现图像理解、跨模态推理或具身操作任务，则需明确其支持的视觉语言模型（VLM）类型与接入方式。以下是OpenClawAI当前兼容的多模态模型汇总：
一、原生支持的OpenAI多模态模型
OpenClawAI通过标准API协议直接对接OpenAI官方发布的多模态模型，无需额外适配层，支持文本与图像联合输入处理。
1、配置model参数为gpt-4o，启用旗舰级多模态能力，支持高分辨率图像分析与实时语音转录；
2、配置model参数为gpt-4o-mini，调用轻量高速版本，在边缘设备或低延迟场景下保持响应效率；
3、在需要深度推理链路时，指定模型为o1或o3，激活思维链（Chain-of-Thought）增强的多步视觉推理模式。
二、国产开源多模态基础模型
OpenClawAI通过Model Context Protocol（MCP）标准接入国产多模态大模型，依赖本地部署服务或兼容HTTP接口的推理后端。
1、加载YuanLab.ai发布的Yuan3.0 Ultra模型权重，需配合其配套Tokenizer与Vision Encoder完成VLM pipeline构建；
2、接入通义科技开源的Fun-CineForge，特别适配含时间序列帧、字幕轨道与音轨的多模态影视数据输入；
3、使用GLM系列中已发布视觉扩展版本的GLM-4.7-VL，需确保Ollama或LocalAI服务中已注册对应Modelfile并启用multimodal flag。
三、本地化部署型多模态模型
OpenClawAI支持通过Ollama、LocalAI等本地LLM运行时环境挂载自定义多模态模型，要求模型具备符合MCP规范的结构化输出能力。
1、在Ollama中拉取已适配的llava-1.6-mistral或moondream2模型，并执行ollama run启动服务；
2、将Ollama服务地址填入OpenClawAI的llm_endpoint字段，同时设置vision_enabled: true启用视觉模块；
3、验证模型是否返回符合MCP Schema的multimodal_response字段，包括image_descriptions与cross_modal_reasoning子项。
四、企业级集成多模态模型
针对私有化部署场景，OpenClawAI提供对闭源或多租户模型服务的适配接口，需手动配置认证与路由策略。
1、对接百度智能云“DuClaw”服务时，跳过API密钥配置，直接填写https://duclaw.baidu.com/v1/chat/completions作为endpoint；
2、接入企业内部封装的ClawDBot-Vision模型服务，须在skills_config.yaml中声明vision_adapter: clawdbot_vision_v2；
3、启用飞书（Feishu）消息通道中的图像解析插件，需在feishu_bot_config中开启enable_image_analysis: true并绑定已授权的视觉权限scope。
五、跨平台多模态模型路由机制
OpenClawAI内置多Agent路由引擎，可根据输入模态类型、上下文复杂度及资源负载自动分发至最优VLM实例。
1、当接收到含单张JPEG图像与简短指令的请求时，自动调度至gpt-4o-mini节点；
2、检测到连续5帧以上视频截图或带坐标标注的热力图时，触发路由规则转向Fun-CineForge专用集群；
3、若请求来自企业内网且携带X-Internal-Auth头，则强制走本地Yuan3.0 Ultra推理服务，绕过公网API调用。
