要在dify中调用together ai的llama 3、qwen等模型,需通过openai兼容协议桥接:先在together ai控制台获取有效api key,再在dify中添加openai compatible类型模型提供方,配置base url和key,然后手动或批量注册模型id并启用,最后在workflow中选择对应模型且关闭tool calling功能即可成功调用。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要在Dify中调用Together AI提供的Llama 3、Qwen、Mixtral等开源模型,必须绕过其原生API限制,通过Dify支持的OpenAI兼容协议桥接访问——因为Together AI不提供标准RESTful模型管理接口,仅开放兼容OpenAI格式的/v1/chat/completions等端点。
确认Together AI账户与API Key可用
登录 Together AI控制台 → 进入「API Keys」页面 → 确保至少有一个Active状态的Key,且未被限流或禁用。若Key显示“Revoked”或“Expired”,需重新生成。
【务必复制新生成的Key并立即保存】 页面关闭后无法再次查看明文,丢失即需重置。
在Dify中添加Together AI为自定义模型
进入Dify管理后台 → 「Settings」→「Model Providers」→ 点击右上角「+ Add Model Provider」。
填写以下字段:
• Provider Name:输入Together AI(仅作标识,不影响调用)
• Provider Type:选择OpenAI Compatible
• Base URL:填https://www.php.cn/link/7de938e934f13201785d12b0ebcd4b96v1(注意末尾无斜杠)
• API Key:粘贴上一步复制的密钥
• 勾选「Support Chat Completion」和「Support Completion」
点击「Save」后,Dify会自动发起一次健康检查请求。若右上角出现绿色对勾图标,说明连接成功;若提示“Invalid API Key”或超时,请检查URL是否多加了/,或Key是否已失效。
配置具体模型并启用
返回「Model Providers」列表 → 找到刚添加的Together AI条目 → 点击右侧「Configure Models」。
方法一:手动注册单个模型
• 点击「+ Add Model」→ Model Name填meta-llama/Llama-3-70b-chat-hf(或其他Together AI支持的模型ID,可在其文档页查全称)
• Display Name可简写为Llama-3-70B
• Token Limit建议设为8192(该模型实际支持上下文长度)
• 点击「Save」
方法二:批量导入全部可用模型
访问Together AI官方模型列表页 → 复制所有模型ID(每行一个)→ 在Dify「Configure Models」页点击「Import from Text」→ 粘贴 → Dify将自动解析并创建对应条目。此方式适合需要频繁切换多个开源模型的场景。
完成任一方法后,刷新「Models」总览页,新模型状态应为「Enabled」。若显示「Disabled」,鼠标悬停其上会提示具体错误,常见原因是模型ID拼写错误(如漏掉meta-llama/前缀)。
在Workflow中调用该模型
新建或编辑一个Workflow → 拖入一个「LLM」节点 → 在模型下拉菜单中选择你刚启用的Llama-3-70B → 保存节点。
注意:该模型不支持function calling能力,若Workflow中LLM节点启用了「Tool Calling」开关,执行时将直接报错退出。必须关闭此选项,或改用支持工具调用的模型(如Claude或GPT-4o)。
发布Workflow → 使用「Test」按钮触发 → 查看日志面板中「Model Request」部分,确认请求Header中Host为api.together.xyz,且Response Status为200,即表示调用链路已通。










