要让百度一镜数字人真正“听懂并回应用户”，必须绕过其默认对话引擎，将语音识别、语义理解、答案生成全链路交由第三方大模型处理，再驱动数字人发声与动作；需使用v3.2.1+ web sdk，配置实时音视频通道与自动刷新token，通过websocket直连音频流或http回调接入自定义asr，构建带历史上下文的对话结构，经业务规则过滤后，用合规tts生成音频并同步口型与动作。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
要让百度一镜数字人真正“听懂并回应用户”，而不是只播预设台词，必须绕过其默认的对话引擎，把语音识别、语义理解、答案生成全部交给第三方大模型处理，再将结果送回驱动数字人发声和动作。这一步跳过百度内置LLM，才能实现知识库接入、业务逻辑触发、上下文连续追问等真实服务场景。
获取一镜数字人SDK与实时音视频通道
登录百度智能云控制台 → 进入“一镜数字人”产品页 → 左侧菜单点击“开发资源” → 下载最新版Web SDK（v3.2.1+）及配套文档包。SDK中必须包含rtc-client.js和digitalhuman-core.js两个核心文件，缺一不可——前者负责建立低延迟音视频流，后者控制数字人表情/口型/动作同步。不要使用旧版SDK，v2.x不支持WebSocket全双工语音流注入。
在项目根目录新建config.js，填入从控制台“应用管理”页复制的app_id、scene_id和access_token。注意：【access_token有效期仅2小时，必须实现自动刷新逻辑，否则通话中途会断连】。
替换默认ASR/TTS链路，接入自定义大模型
方法一：用WebSocket直连语音流（推荐）
初始化SDK时传入audioStreamMode: 'websocket'参数 → 调用dh.start()后，SDK会自动创建一个WebSocket连接到wss://api.yijing.baidu.com/v3/audio/in → 此时你不再调用dh.asr()，而是监听onAudioChunk事件，拿到原始PCM音频帧 → 将其编码为Base64后，通过你自己的ASR服务（如Whisper本地部署或讯飞开放平台）转文本。
方法二：劫持HTTP回调（适合调试）
在控制台“语音配置”页关闭“启用百度ASR”开关 → 开启“自定义ASR回调”，填写你服务器的HTTPS地址（如https://your-api.com/asr-callback）→ 百度会把录音片段POST过来，你处理完返回JSON格式的文本结果 → 注意该回调必须在500ms内响应，超时即触发重试，三次失败后数字人进入静默状态。
【关键区别：方法一能拿到毫秒级音频流，支持打断、插话；方法二有200–800ms延迟，仅适用于单轮问答】
调用百度PaddleOCR‑VL大模型API，支持PDF、Word、PPT、图片等多格式文档解析，精准识别印刷体、手写体、表格、公式、图表、印章等复杂元素，支持100+语言，可处理不规则布局和跨页长文档。触发词：文档解析、VLM解析、大模型OCR、PaddleOCR、多模态文档、手写识别、公式识别、复杂版面。
构建第三方大模型对接管道
第一步：准备模型调用凭证
在千帆大模型平台创建应用 → 获取QIANFAN_AK和QIANFAN_SK → 用qianfan Python SDK或直接调用REST API。不要硬编码密钥，统一存入环境变量或密钥管理服务。
第二步：设计对话上下文容器
每次用户语音转文本后，不是单独发给大模型，而是组装成带历史记录的结构体：
{"messages": [{"role": "system", "content": "你是某银行智能客服，只回答理财、贷款、信用卡问题"}, {"role": "user", "content": "上个月账单在哪查？"}, {"role": "assistant", "content": "请登录手机银行APP，点击‘我的’→‘账单查询’…"}, {"role": "user", "content": "那纸质账单还能寄吗？"}]} → 这样模型才能理解当前是追问，而非新会话。
第三步：注入业务规则过滤层
大模型输出文本后，必须经过一层规则校验：检查是否含敏感词、是否触发转人工指令（如“我要找人工”）、是否需调用外部API（如查询余额需调银行核心接口）→ 校验通过才交给TTS，否则返回预设应答或跳转流程。
驱动数字人播放自定义语音与动作
当大模型返回答案文本，且通过业务校验后：
① 调用你自建的TTS服务（如Edge-TTS或PaddleSpeech），生成WAV音频流 → 注意采样率必须为16kHz、单声道、PCM编码，否则一镜SDK无法加载；
② 将音频二进制数据传入dh.playAudio(buffer) → 此时数字人开始说话，但口型仍可能不同步；
③ 手动触发口型映射：解析TTS返回的音素时间戳（如[{"phoneme": "a", "start": 0.2, "end": 0.35}, ...]）→ 调用dh.setLipSync(phonemeList)强制驱动唇形；
④ 在关键语义节点插入动作指令：例如用户问“怎么操作？”，立即执行dh.playAnimation('point_right_hand')，动作ID需提前在一镜后台“动作库”中注册。
最后一步：监听dh.on('audioEnd', callback)事件，在语音播放完毕后清空上下文缓存，准备接收下一轮语音输入。
大量免费API接口：立即使用
涵盖生活服务API、金融科技API、企业工商API、等相关的API接口服务。免费API接口可安全、合规地连接上下游，为数据API应用能力赋能！
