配置并使用 Gladia 音频智能功能:说话人分离(speaker diarization)、翻译、情感分析、命名实体识别(NER)、PII 敏感信息脱敏(PII redaction)、字幕生成(SRT/VTT)、摘要生成(summarization)、章节划分(chapterization)、自定义词汇表(custom vocabulary)以及音频到大语言模型(audio-to-LLM)。当用户询问任意音频智能功能时启用本能力,包括:在预录制音频或实时转录中启用相关功能;厘清各功能在预录制与实时两种模
音频智能 : Gladia 的音频智能功能从记录稿中提取结构化的数据和洞察力. 他们的工作在底稿的顶端—— 大部分是通过添加选项 t 实现的.是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。
实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。
执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
Gladia 的音频智能功能可从转录文本中提取结构化数据与洞察。这些功能构建于基础语音转文字能力之上——大多数功能通过在 transcribe() 调用(适用于预录制音频)或 startSession() 配置(适用于实时音频)中添加参数来启用。
以 SDK 为先:请始终使用官方 SDK —— 具体策略、初始化方式及降级机制,请参阅 sdk-integration。
不建议使用的情况: 若仅需基础语音转文字能力,无需任何音频智能功能,请直接查阅 pre-recorded-transcription 或 live-transcription 文档。若遇到特定功能相关的异常或错误,请参考 troubleshooting 文档。
根据需要查阅以下资源:
| 功能 | 预录制 | 实时 | 配置项名称 |
|---|---|---|---|
| 说话人区分(Speaker diarization) | 是 | 否 | diarization |
| 翻译(Translation) | 是 | 是 | translation |
| 情感分析(Sentiment analysis) | 是 | 是 | sentiment_analysis |
| 命名实体识别(Named entity recognition) | 是 | 是 | named_entity_recognition |
| 字幕(SRT/VTT 格式)(Subtitles) | 是 | 否 | subtitles |
| 自定义词表(Custom vocabulary) | 是 | 是 | custom_vocabulary |
| PII 敏感信息脱敏(PII redaction) | 是 | 否 | pii_redaction |
| 章节划分(Chapterization) | 是 | 是 | chapterization(后处理) |
| 摘要生成(Summarization) | 是 | 是 | summarization(后处理) |
| 音频转大语言模型(Audio-to-LLM) | 是 | 否 | audio_to_llm |
| 自定义拼写(Custom spelling) | 是 | 是 | custom_spelling |
| 自定义元数据(Custom metadata) | 是 | 是 | custom_metadata |
实时模式支持的功能分为两类:实时处理(结果在会话过程中持续流式返回)和 后处理(结果在调用 stopRecording() 后统一返回)。详情请参阅 ./references/live-audio-intelligence.md。
以下代码示例均假设 GladiaClient 已完成初始化 —— 初始化方法请参阅 sdk-integration。
const result = await client.preRecorded().transcribe("audio.mp3", {
diarization: true,
diarization_config: { number_of_speakers: 2 },
});
// 每条语句(utterance)将包含一个 speaker 字段(0 起始整数索引)
result = client.prerecorded().transcribe("audio.mp3", {
"diarization": True,
"diarization_config": {"number_of_speakers": 2},
})
预录制模式:
const result = await client.preRecorded().transcribe("audio.mp3", {
translation: true,
translation_config: { target_languages: ["fr", "es"] },
});
result = client.prerecorded().transcribe("audio.mp3", {
"translation": True,
"translation_config": {"target_languages": ["fr", "es"]},
})
实时模式(结果作为 translation 类型的 WebSocket 事件流式返回 —— 详见 live-audio-intelligence.md):
const session = client.liveV2().startSession({
// ... 音频格式相关配置 ...
realtime_processing: {
translation: true,
translation_config: { target_languages: ["fr"] },
},
});
from gladiaio_sdk import LiveV2InitRequest, LiveV2RealtimeProcessing
session = client.live().start_session(
LiveV2InitRequest(
# ... 音频格式相关配置 ...
realtime_processing=LiveV2RealtimeProcessing(
translation=True,
translation_config={"target_languages": ["fr"]},
),
)
)
预录制模式:
const result = await client.preRecorded().transcribe("audio.mp3", {
summarization: true,
summarization_config: { type: "bullet_points" },
});
实时模式(结果在调用 stopRecording() 后作为 post_summarization 事件返回):
const session = client.liveV2().startSession({
// ... 音频格式相关配置 ...
post_processing: {
summarization: true,
summarization_config: { type: "bullet_points" },
},
});
session.on("message", (msg) => {
if (msg.type === "post_summarization") console.log(msg.data.results);
});
如需完整了解各功能的配置选项与响应结构,请查阅:
code_switching: true 但未指定 languages:将触发对 100+ 种语言的全量评估,导致频繁误判。请始终明确提供 3–5 种预期语言。custom_vocabulary)的 intensity 值超过 0.6:该值超过 0.6 时易引发误替换(无关词汇被错误替换)。建议保持在 0.4–0.6 区间,并优先使用 pronunciations 提升准确率。diarization + summarization + translation。完整易错点清单请参阅 troubleshooting 文档。
相关专题
热门下载
相关下载
精品课程
共6课时 | 54.7万人学习
共89课时 | 134.3万人学习
共49课时 | 82.7万人学习
最新文章