必须手动配置OpenAI兼容层并启用视觉输入通道才能让Gemini Pro在Dify中解析图片、理解文档并生成带视觉grounding的回答：先获取验证gemini-1.5-pro API Key，再配置供应商为OpenAI兼容模式并手动填写模型名，最后在Workflow节点中开启vision input开关且直连Image变量。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Dify中让Gemini Pro真正解析图片、理解文档并生成带视觉 grounding 的回答，必须绕过官方Gemini供应商的纯文本限制，启用其原生多模态能力——这要求你手动配置OpenAI兼容层，并在工作流节点中显式开启视觉输入通道。
获取并验证Gemini API Key
访问 Google AI Studio 控制台 → 左侧导航点击「API keys」→ 点击「Create API key」生成新密钥；复制完整密钥（含 【gemi-开头的32位字符串】），不要截断或补空格。
在终端执行测试命令验证是否可调用多模态接口：curl -X POST "https://generativeai.googleapis.com/v1beta/models/gemini-1.5-pro:generateContent" -H "Authorization: Bearer gemi-xxx" -H "Content-Type: application/json" -d '{"contents":[{"parts":[{"text":"Describe this image"}]}]}'。若返回含 error 字段且提示 403 PERMISSION_DENIED，说明项目未启用 Gemini API；需进入 Google Cloud Console → 启用 【Generative Language API】 并绑定计费账户。
配置OpenAI兼容层接入Gemini
登录Dify后台 → 右上角头像 → 「设置」→ 左侧「模型供应商」→ 「+ 添加模型供应商」。
① 供应商名称填「Gemini-OpenAI-Compat」（建议不带空格）；
② 类型选「OpenAI-API-compatible」；
③ API Key 粘贴上一步获取的 gemi-xxx 密钥；
④ Base URL 填 https://generativeai.googleapis.com/v1beta；
⑤ 模型名称栏手动输入 gemini-1.5-pro（注意不是下拉选择，Dify不会自动发现该模型）；
⑥ 点击「保存」。
这一步不能依赖自动同步——Gemini 的 REST 接口与 OpenAI 格式存在字段级差异，Dify默认探测机制会跳过 generateContent 端点，必须手动声明模型名才能注册成功。
在Workflow中启用Gemini多模态节点
新建或编辑一个Workflow → 添加「LLM」节点 → 在模型下拉菜单中选择「gemini-1.5-pro」。
使用AIsa生成图像与视频。仅需一个API密钥即可调用Gemini 3 Pro Image（图像）和Qwen Wan 2.6（视频）。
点击节点右上角「⚙️ 设置」→ 找到「Advanced Options」展开区 → 将「Enable vision input」开关设为 ON。
此时节点左上角会出现一个带眼睛图标的输入端口，拖入「Image」类型变量即可触发多模态推理；若仍显示灰色不可连，检查该节点是否被上游文本节点强制约束了输入类型——【必须保证图像数据直接流入此节点，不可经由Text Splitter或JSON Parse等中间转换】。
提示：Gemini 1.5 Pro 支持单次最多 20 张图片输入，但每张分辨率超过 2048×2048 时会自动降采样，如需保留细节，请提前在前置节点用 PIL 调整尺寸。
调试多模态输出结构
运行Workflow后，在日志面板查看原始响应体，确认返回中包含 grounding_metadata 或 content.parts[].inline_data 字段；若只返回纯文本且无图像坐标信息，说明适配层未正确注入 multimodal 请求头。
方法一：在Dify「模型供应商」页面，点击刚添加的「Gemini-OpenAI-Compat」右侧「编辑」→ 在「Custom Headers」栏添加：{"x-goog-api-client": "genai-v1beta"}；
方法二：若使用自定义插件封装，需在请求体中显式构造 contents 数组而非 messages，并确保 parts 内同时含 text 和 inline_data 对象。
