☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
nova ai v2指令体系绑定音频chunk事件而非文本,核心指令audio_start、function_call:enable、response_mode:stream需严格按音频流生命周期触发,经典版文本参数全部失效。
要让nova ai v2版本真正发挥新一代语音智能体的实时性与端到端能力,必须掌握其区别于经典版的底层指令体系——这些指令不是简单的api参数调整,而是直接触发speech-to-speech流式响应、轮次感知和函数调用闭环的关键控制字。
理解v2指令体系的底层逻辑
v2版本抛弃了经典版“STT→LLM→TTS”三段式指令链,所有指令均围绕音频流生命周期设计。核心变化在于:**指令不再作用于文本,而是绑定音频chunk的起始/中断/语义边界事件**。这意味着发送“/summarize”这类文本指令在v2中无效,必须改用audio_start:summary这类带上下文锚点的音频事件指令。
经典版依赖VAD(语音活动检测)模块预判用户是否说完,v2则由模型原生识别停顿、反问、语气词等17类语音韵律特征,因此v2指令必须携带context_window=300ms这类时间窗口声明,否则模型无法对齐音频帧与语义单元。
v2核心指令清单及触发条件
【audio_start】:必须作为首条指令发送,且需同步推送WebRTC音频流首个PCM chunk。若先发指令后推流,或流延迟>80ms,会触发ERR_AUDIO_MISALIGN错误并终止会话。
【function_call:enable】:启用外部工具调用时,必须在audio_start后300ms内发送,且附带JSON Schema描述参数约束。经典版允许在LLM输出阶段动态生成函数调用,v2要求在音频流开始时就声明可用函数集,否则后续语音中提及“查订单”等意图将被忽略。
【response_mode:stream】:强制开启逐字音频流输出。与经典版TTS的“整句合成后播放”不同,此模式下模型每生成200ms语音波形即推送至客户端。若未声明,系统默认使用response_mode:buffer,导致首字延迟升至1.2秒以上。
经典版指令回顾(仅作对比参考)
经典版指令基于文本管道设计,典型流程为:POST /stt → POST /llm?prompt=... → POST /tts。常用指令包括:stt_language=zh-CN、llm_temperature=0.3、tts_voice=Female-Cantonese。这些参数在v2中全部失效,因为音频流已绕过文字中间态。
经典版支持运行时切换TTS音色,v2版本的音色由audio_start携带的speaker_profile_id硬编码锁定,切换需断开重连。这是为保障音频流端到端延迟稳定性所做的必要取舍。
经典版可通过llm_max_tokens=512限制回复长度,v2改用response_duration_ms=8000直接约束音频时长,超时自动截断并触发ERR_TRUNCATED_AUDIO事件。











