必须通过fastapi代理层将cogvlm-17b接入dify，因dify原生不支持视觉编码器；需本地启动cogvlm http服务并用fastapi封装为/v1/chat/completions标准接口，再在dify中注册为支持vision的自定义模型。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在Dify中成功接入智谱AI开源的CogVLM-17B多模态大模型，实现图像理解+文本对话能力，必须绕过Dify原生不支持视觉编码器的限制，通过自定义API服务桥接——这一步不做对，后续所有配置都会报错“image not supported”。
准备本地CogVLM推理服务
先在有GPU的机器上启动一个独立的CogVLM HTTP服务，Dify只负责转发请求，不直接加载模型。
克隆官方仓库：git clone https://mirror.ghproxy.com/https://github.com/THUDM/CogVLM.git
进入目录后安装依赖：pip install -r requirements.txt。注意必须用 torch==2.1.1+cu118，高版本会触发CUDA kernel mismatch错误导致服务启动失败。
下载模型权重（需约35GB磁盘空间）：modelscope download --model ZhipuAI/cogvlm-chat --revision v1.0.7
运行Web服务脚本：python web_demo.py --model-path ./cogvlm-chat --quantization 4bit。服务默认监听 http://localhost:7860，但Dify需要的是API接口，不是Gradio前端——所以必须额外启动一个FastAPI封装层。
构建Dify兼容的API代理层
新建 api_proxy.py，内容如下：
from fastapi import FastAPI, UploadFile, File, Form, HTTPException
from pydantic import BaseModel
import requests
import base64
import io
from PIL import Image
app = FastAPI()
class ChatRequest(BaseModel):
text: str
image: str = None # base64 encoded
@app.post("/v1/chat/completions")
async def chat_completion(request: ChatRequest):
if request.image:
try:
img_data = base64.b64decode(request.image)
img = Image.open(io.BytesIO(img_data))
# CogVLM要求图像尺寸≤490×490，超限会OOM
img.thumbnail((490, 490), Image.Resampling.LANCZOS)
except Exception as e:
raise HTTPException(400, f"Invalid image: {e}")
# 构造符合CogVLM web_demo.py接收格式的payload
payload = {"text": request.text, "image": img if request.image else None}
resp = requests.post("http://localhost:7860/run/predict", json=payload)
return {"choices": [{"message": {"content": resp.json()["data"][0]}}]}
启动代理服务：uvicorn api_proxy.py:app --host 0.0.0.0 --port 8000
这一步最关键：Dify调用的是 /v1/chat/completions 这个标准OpenAI格式接口，而底层实际把请求转给Gradio的 /run/predict 路径——不走这层转换，Dify根本无法识别CogVLM返回的数据结构。
在Dify中注册自定义模型
登录Dify管理后台 → 【Settings】→【Model Providers】→【Add Model Provider】
填写信息：
Provider Name：CogVLM-Local
API Base：http://你的服务器IP:8000
API Key：留空（本机代理不鉴权）
Supports Vision：✅ 必须勾选，否则上传图片按钮不会出现
点击【Save】后，立即进入【LLM Models】→【Add Model】
Model Name：cogvlm-chat-4bit
Model Type：Large Language Model
Provider：CogVLM-Local
Model Id：v1
Supports Stream：✅
Supports Vision：✅
点【Save】完成注册。此时Dify会尝试发送测试请求验证连通性，若失败请检查8000端口是否被防火墙拦截、或uvicorn进程是否仍在运行。
创建多模态应用并上传测试图
新建应用 → 选择【Chatbot】模板 → 在【Model Configuration】中选择刚添加的 cogvlm-chat-4bit 模型
进入【Prompt】编辑区，在System Prompt里明确写入：“你是一个多模态AI，能同时理解图像和文本。用户可能上传图片，请结合图像内容回答问题。”
保存后点击右下角【Chat】，在输入框左侧点击【?】图标上传一张含文字的截图或带物体的照片——注意：CogVLM对JPG/PNG支持稳定，但WebP格式会解码失败，上传前务必转为PNG。
输入问题如：“图中有几个红色按钮？它们分别标着什么字？” → 发送
