豆包AI的API可以用来做语音识别吗怎么传入音频数据格式

大杰同学_5572

大杰同学_5572

2026-08-10

864人浏览

原创

豆包AI的API支持语音识别,但必须通过WebSocket发送符合五项参数的原始PCM二进制流(单声道、16kHz、int16、小端序),并严格配置ARK_APP_ID与ARK_ACCESS_TOKEN认证凭证,否则返回400错误或连接中断。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜

豆包ai的api可以用来做语音识别吗怎么传入音频数据格式

豆包AI的API确实支持语音识别功能,但必须严格按其端到端实时语音大模型协议传入音频数据,否则服务端直接拒绝解析或返回400错误。你不能上传MP3、WAV文件或base64字符串,只能通过WebSocket发送原始PCM二进制流。

确认API接入前提

先检查是否已获取合法调用凭证:必须拥有ARK_APP_ID和ARK_ACCESS_TOKEN两个环境变量,缺一不可。若未配置,后续所有连接都会在StartSession阶段被服务端中断。

确保你的Node.js服务已部署WebSocket客户端,并能维持长连接——豆包RealtimeAPI不接受HTTP POST上传音频,只认WebSocket二进制帧。

准备符合要求的PCM音频

音频必须满足五项硬性参数,任意一项不符,ASR引擎将静默丢弃整段流:

• 格式:PCM(未经压缩,不是WAV容器)
• 声道:单声道(【双声道音频会导致ASR完全无响应】)
• 采样率:16000 Hz(不是44100、48000或8000)
• 位深:int16(即每个采样点占2字节)
• 字节序:小端序(Little-Endian)

如果你用Web Audio API采集麦克风,需手动将Float32Array重采样为int16并翻转字节序;若用FFmpeg转换本地录音,命令必须是:ffmpeg -i input.mp3 -ar 16000 -ac 1 -f s16le -acodec pcm_s16le output.pcm。

建立WebSocket连接并发送StartSession

第一步:向/api/v1/ai/speech-recognition发起WebSocket连接,携带认证头Authorization: Bearer {ARK_ACCESS_TOKEN}和X-App-ID: {ARK_APP_ID}。

第二步:连接成功后,立即发送StartSession事件(Event ID 100),JSON体中必须包含:

豆包生图
豆包生图

调用字节跳动豆包 Seedream 大模型生成图片。 该能力适用于用户希望基于文本描述生成图片、创作 AI 艺术、制作插画,或使用 Doubao Seedream 模型进行图像到图像(image-to-image)转换的场景。 触发词:生成图片、文生图、画图、AI画图、豆包生图、生图、生成插画、AI配图。

下载

{"audio_config": {"sample_rate": 16000, "channels": 1, "format": "pcm", "bit_depth": 16}, "model": "doubao-asr-v2"}

注意:【audio_config字段不可省略,且键名大小写敏感,写成sampleRate或SampleRate都会触发400】。服务端收到后返回Session ID,后续所有TaskRequest都需带上它。

分块推送音频流

第一步:将PCM文件按每20ms切片(即每次发送320字节:16000 Hz × 1通道 × 2字节 × 0.02秒)。

第二步:对每个切片构造TaskRequest事件(Event ID 200),二进制帧结构为:4字节事件ID(小端序)+ 4字节payload长度(小端序)+ JSON头部(含session_id)+ 原始PCM数据。

第三步:连续发送,间隔不超过100ms——超时会触发server_vad自动结束检测,导致ASRResponse丢失中间结果。

这一步操作起来很简单,直接把文件拖进去就行,但务必确保每个帧的PCM数据紧贴JSON头部之后,中间不能插入任何空字节或分隔符。

大量免费API接口:立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游,为数据API应用能力赋能!

相关文章

AI工具
AI工具

AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型,支持联网搜索。

下载

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
豆包App怎么下载和使用
豆包App怎么下载和使用

字节跳动推出的“豆包”是一款 ai 助手 app,提供文本创作和图像生成等功能。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2024.12.17

4603

7

豆包是干什么的怎么用
豆包是干什么的怎么用

豆包是一款功能强大的ai聊天智能对话问答助手,主要用于提供聊天机器人、写作助手、英语学习助手等功能,帮助用户获取信息、进行对话、辅助创作等‌‌。想了解更多相关的内容,请阅读专题下面的文章。

2024.12.25

16697

7

豆包是国产软件吗
豆包是国产软件吗

豆包是一款国产AI工具,由字节跳动公司基于云雀模型开发。它提供聊天机器人、写作助手和英语学习助手等功能,支持网页、iOS和安卓平台。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.02.05

25661

7

豆包是什么软件有什么作用
豆包是什么软件有什么作用

豆包是一款跨平台文件传输工具,支持多种操作系统。其主要功能包括:快速传输:采用先进协议,实现高速文件传输。安全加密:端到端加密,确保数据安全。跨平台支持:支持各种操作系统和设备。大文件传输:轻松传输不受限的大文件。多设备互传:提高工作效率。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.02.08

4322

7

豆包是哪个公司开发的软件
豆包是哪个公司开发的软件

豆包是字节跳动开发的软件。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.02.08

6956

7

豆包是什么时候发布的
豆包是什么时候发布的

字节跳动的 AI 产品 “豆包” 第一次发布时间是 2023 年 8 月 17 日。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2025.02.12

5558

6

豆包存在哪些风险
豆包存在哪些风险

豆包软件的风险主要在于其安全性、隐私性以及潜在的法律合规问题。想了解更多相关的内容,请阅读专题下面的文章。

2025.02.17

28177

14

抖音旗下的豆包是什么
抖音旗下的豆包是什么

抖音旗下的豆包是一款即时语音互动社交平台,定位于年轻群体。想了解更多相关内容,请阅读专题下面的文章。

2025.03.27

5954

7

豆包Ai手机版使用常见问题汇总
豆包Ai手机版使用常见问题汇总

本专题聚焦豆包AI手机版使用中的高频痛点,涵盖登录授权、功能入口查找、网络卡顿、文件上传失败、AI操作权限设置等核心问题,结合实测案例给出分步解决方案,同时解析会员权益边界、隐私保护机制等争议点,帮助用户快速避开使用雷区,高效解锁跨APP协同、智能生图、文档解析等进阶功能。

2026.05.06

480

37

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
豆包AI手册
豆包AI手册

共0课时 | 0人学习

豆包AI手册
豆包AI手册

共0课时 | 0人学习

Buffalo & Goth 官方视频教程
Buffalo & Goth 官方视频教程

共0课时 | 0人学习