豆包实时音视频模型doubao-seed-realtime-1.0在全双工seeduplex基础上加入视频帧、图片输入与火山搜图能力。火山引擎公开接口文档显示,客户端可通过同一条websocket并行发送音频和画面,每个会话的视频帧率上限为2fps,超出频率的帧会被网关直接丢弃,不返回业务错误。
画面与音频在同一会话中输入
新增的input_image_buffer.append事件用于提交Base64编码的画面,图像格式须与创建会话时声明的PNG或JPEG一致。frame_id可由客户端递增提供,用于帧顺序追踪;未提供时由服务端补充。官方接入建议采用720p等适合实时传输的画面范围,并针对文档、会议等场景先处理敏感区域。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
官方接口说明列出图像格式、帧率与超频丢帧行为。
音频仍按实时节奏上传。对于16kHz、int16输入,官方建议每20毫秒发送一包,即640字节;视频按自身节奏独立上行。2FPS属于会话资源控制,文档明确它不是按帧数计费的规则,也不能将其理解为高帧率视频流转发能力。
模型名称与接口参数并不相同
产品名称为Doubao-Seed-Realtime-1.0,但当前接口的session.model要求填写1.3.0.0。连接路径为wss://openspeech.bytedance.com/api/v3/realtime,请求头使用X-Api-Key。接入应用需要先在火山引擎控制台取得相应API Key及服务权限,不能把豆包App中的体验入口直接当作开发接口资格。

官方时序使用1.3.0.0会话并分别发送音频与图像。
64K是多部分共同使用的上下文额度
官方将系统提示词instructions、模型内部系统提示、历史对话和Function Calling结果的合计上限列为64K tokens。这个数字不是仅给用户系统提示词单独使用的额度。图片输入、实时音频与工具结果同时存在时,应用仍需控制历史和结果规模;文档中的能力说明也不代表任何画面识别准确率或响应延迟保证。











