必须用tensor-parallel-size=2启动vllm并配置dify直连：启动命令需指定--tensor-parallel-size=2且与gpu数严格一致，dify通过自定义bridge网络（如dify-vllm-net）以服务名vllm-server访问http://vllm-server:8000/v1，禁用host网络模式。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要在内网环境中支撑高并发问答与长上下文推理，必须让Dify后端模型服务具备多GPU并行能力，并确保其稳定接入Dify集群架构。这要求vLLM启动时显式分配多卡资源，且Dify的模型调用路径能穿透Docker网络边界直连vLLM服务，不能依赖默认单卡或localhost回环。
启动支持多卡的vLLM服务
进入vLLM部署目录，执行带tensor-parallel-size参数的启动命令：
python -m vllm.entrypoints.openai.api_server --model Qwen2-7B-Instruct --tensor-parallel-size=2 --gpu-memory-utilization=0.85 --host 0.0.0.0 --port 8000
该命令强制vLLM在两块GPU上切分模型权重，【--tensor-parallel-size=2必须与实际可用GPU数量严格一致】。若设为3但机器只有2卡，服务将直接崩溃退出，日志中仅显示“CUDA out of memory”而无明确提示。
启动后用nvidia-smi确认两卡显存均被占用，且vLLM日志末尾出现“API server running on http://0.0.0.0:8000”才表示就绪。
配置Dify集群访问vLLM的网络通路
方法一：复用Dify单节点docker-compose网络（适用于测试环境）
编辑dify-deployment/single-node/docker-compose.yml，在dify-api服务下添加network_mode: "host"，并移除ports映射段。
方法二：创建自定义bridge网络并桥接两个服务（生产推荐）
执行docker network create --driver bridge --subnet=172.20.0.0/16 dify-vllm-net
修改vLLM启动容器的docker run命令，追加--network dify-vllm-net --ip 172.20.0.10；同步修改dify-api服务的docker-compose.yml，加入networks: - dify-vllm-net和extra_hosts: - "vllm-server:172.20.0.10"
使用AIsa生成图像与视频。仅需一个API密钥即可调用Gemini 3 Pro Image（图像）和Qwen Wan 2.6（视频）。
【务必禁用vLLM容器的--network host模式】，否则Dify集群中其他节点无法通过服务名解析到该实例，导致RAG流程在知识检索阶段静默失败。
在Dify管理后台注册多卡vLLM模型
第一步：登录Dify后台 → 进入「设置」→「模型供应商」→「+ 添加模型供应商」
第二步：选择「自定义」类型，填写以下字段：
供应商名称：vllm-multi-gpu
API端点：http://vllm-server:8000/v1（注意此处必须用服务名而非IP）
API密钥：sk-xxx（需与vLLM启动时--api-key参数值完全一致）
第三步：点击「测试连接」按钮，成功后页面右上角弹出绿色提示「连接成功」
第四步：进入「模型配置」→「+ 添加模型」→ 选择刚创建的供应商 → 模型名称填Qwen2-7B-Instruct → 保存
第五步：在「应用编排」中新建应用，模型下拉框里选中Qwen2-7B-Instruct，点击「发布」即完成对接。
