必须通过火山方舟平台调用多模态模型,视觉与生成模型需分别开通、使用agent plan专属api key及对应endpoint,调用时严格区分输入类型(图像理解需image+text,文生图仅text)。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

要在火山引擎上直接调用多模态模型,必须通过火山方舟平台统一接入,因为火山引擎本身不提供独立的多模态模型API入口,所有视觉理解、图像生成、图文联合推理等能力均由火山方舟封装为标准MaaS服务对外提供。
确认模型类型与开通权限
登录火山引擎控制台 → 进入「火山方舟」产品页 → 左侧菜单点击「开通管理」→ 查看「已开通模型」列表。若未开通视觉类模型,需手动勾选并提交开通申请。
【视觉模型不可跨类型复用】语言模型API Key无法调用视觉模型,视觉模型必须使用专属Agent Plan或Coding Plan套餐下的API Key,且该Key仅对开通的视觉模型生效。
开通前请明确所需模型类别:视觉理解模型(如Doubao-Seedream-4.5)用于识图、OCR、图文问答;图像生成模型(如Seedream系列)用于文生图、图生图、线稿上色等。两类模型在模型广场中分开展示,不可混选。
获取专属API Key与Endpoint
进入火山方舟控制台 → 点击右上角头像 → 「API密钥管理」→ 创建新密钥 → 勾选「Agent Plan」权限 → 生成并复制密钥。
注意:Coding Plan密钥仅支持代码类模型,【必须选择Agent Plan权限才能调用视觉模型】。生成后密钥不可再查看明文,请立即保存。
视觉模型无传统“模型ID”概念,调用时需指定Endpoint ID,格式为 ep-s-xxx。该ID在开通模型后自动生成,可在「模型服务」→「在线服务」页面找到对应模型的「接入点」栏查看。
构造请求调用视觉理解模型
方法一:使用Python SDK发送POST请求
安装volcengine SDK:pip install volcengine。初始化客户端时指定区域为cn-beijing,Base URL固定为https://ark.cn-beijing.volces.com/api/v3/responses。
构造JSON payload时,input字段必须包含type为image的content对象,且需base64编码图片二进制数据;同时可附加text类型内容构成多模态输入。例如:
{ "model": "doubao-seedream-4.5", "input": [ { "type": "image", "content": "base64_encoded_string_here" }, { "type": "message", "role": "user", "content": "这张图里有哪些商品?价格分别是多少?" } ] }
调用图像生成模型(文生图)
第一步:确认已开通Seedream系列模型(如seedream-2.0-pro),且套餐含图片生成配额(Medium及以上套餐)。
第二步:使用Agent Plan专属API Key,向https://ark.cn-beijing.volces.com/api/v3/responses发起POST请求。
第三步:在payload中设置model字段为具体生成模型名,input字段仅保留text类型内容,content为中文提示词,例如“高清摄影,一只橘猫坐在窗台晒太阳,窗外是秋天银杏树,柔焦背景”。【图像生成接口不接受image类型输入】,传入图片将导致400错误。
第四步:响应体中output字段返回生成图的URL,有效期24小时,需及时下载保存。











