火山引擎API多模态能力怎么调用？-人工智能-PHP中文网

必须使用方舟平台多模态模型ID并规范构造input数组：text需含text键、image_url需含image_url.url键、video_url需含video_url.url键，否则返回400错误；未开通doubao-embedding-vision系列模型会返回404；调用深度思考API时Bot ID与API Key不可混用，用错返回401。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

火山引擎api多模态能力怎么调用？

要在火山引擎上实现图片、视频和文本混合输入的向量化或深度思考，必须使用方舟平台支持多模态的模型ID，并按规范构造input数组——传错类型或漏掉url字段会导致400错误，且不会返回具体提示。

调用多模态向量化API

第一步：确认已开通doubao-embedding-vision系列模型服务
登录火山引擎控制台→【模型推理】→【在线推理】→搜索“doubao-embedding-vision”，点击“立即开通”。若未显示该模型，请先在【AI应用】中创建一个DeepSeek-R1推理接入点并绑定Bot ID，再返回开通向量模型——【未开通模型直接调用会返回404，而非鉴权失败】。

第二步：获取有效的ARK_API_KEY
进入【API密钥管理】→点击“创建API密钥”，描述填写“multimodal-vec”即可。生成后立即复制密钥值，关闭页面前务必粘贴到安全位置——【密钥仅显示一次，丢失需重新创建且旧密钥即时失效】。

第三步：构造curl请求，注意input数组必须是对象列表
每个元素含type字段，且对应字段严格匹配：text类型必须带text键；image_url类型必须带image_url.url键；video_url类型必须带video_url.url键。下面是一个合法示例：

curl https://ark.cn-beijing.volces.com/api/v3/embeddings/multimodal \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $ARK_API_KEY" \
-d '{ "model": "doubao-embedding-vision-251215", "encoding_format": "float", "input": [ { "type": "text", "text": "一只橘猫坐在窗台上" }, { "type": "image_url", "image_url": { "url": "https://example.com/cat.jpg" } } ] }'

调用多模态深度思考API

方法一：用ArkLLMThinkingVision算子（推荐用于批量处理）
适用于Daft 0.6.14及以上版本。在veMLP中构建DataFrame时，直接指定images、texts、videos三列，每列可为string或list。算子自动拼装符合VLM规范的message结构，无需手动构造JSON。

火山引擎

火山引擎是一款面向企业的云计算与AI服务平台。

下载

方法二：用标准Chat Completion接口调用豆包多模态模型
Base URL固定为https://ark.cn-beijing.volces.com/api/v1/chat/completions，模型名填doubao-vision-251215（注意不是doubao-embedding-vision）。input部分改用messages数组，其中role为user的message必须包含content字段，且content是对象数组：

[{"type":"text","text":"这张图里有什么动物？"}, {"type":"image_url","image_url":{"url":"https://example.com/zoo.png"}}]

注意：此方式要求Authorization头携带的是Bot ID而非API Key——【Bot ID与API Key不可混用，用错直接返回401】。

上传本地文件并参与多模态推理

① 打开火山引擎控制台→【对象存储TOS】→新建Bucket（如命名为multimodal-input）→设置读写权限为“公共读”。
② 将本地图片或MP4视频拖入该Bucket，上传完成后点击文件名→复制“对象URL”。
③ 把该URL粘贴进input数组的image_url.url或video_url.url字段中。不要用file://路径，也不要用localhost地址——这些在服务端根本无法访问。
④ 若需上传超50MB视频，必须先转为TOS预签名URL：调用TOS SDK的PutObjectPresignUrl接口，再把返回的带临时token的URL填入video_url.url字段。