audio-intelligence

Polar Sponsor
爱发电 赞助
.NET 9.0

配置并使用 Gladia 音频智能功能:说话人分离(speaker diarization)、翻译、情感分析、命名实体识别(NER)、PII 敏感信息脱敏(PII redaction)、字幕生成(SRT/VTT)、摘要生成(summarization)、章节划分(chapterization)、自定义词汇表(custom vocabulary)以及音频到大语言模型(audio-to-LLM)。当用户询问任意音频智能功能时启用本能力,包括:在预录制音频或实时转录中启用相关功能;厘清各功能在预录制与实时两种模

音频智能 : Gladia 的音频智能功能从记录稿中提取结构化的数据和洞察力. 他们的工作在底稿的顶端—— 大部分是通过添加选项 t 实现的.

功能概述

音频智能 : Gladia 的音频智能功能从记录稿中提取结构化的数据和洞察力. 他们的工作在底稿的顶端—— 大部分是通过添加选项 t 实现的.是一项面向实际任务的技能。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。

核心要点

  • 使用时应结合输入条件选择合适的执行方式,核对必要参数、依赖环境与输出内容,并按原始要求处理异常情况。
  • 该技能适合需要稳定复用相关能力的场景,可作为自动化工作流的一部分,也便于后续检查、调整和扩展。
  • 从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。

使用与执行

实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。

结果检查与注意事项

执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。

音频智能

Gladia 的音频智能功能可从转录文本中提取结构化数据与洞察。这些功能构建于基础语音转文字能力之上——大多数功能通过在 transcribe() 调用(适用于预录制音频)或 startSession() 配置(适用于实时音频)中添加参数来启用。

以 SDK 为先:请始终使用官方 SDK —— 具体策略、初始化方式及降级机制,请参阅 sdk-integration。

适用场景

  • 用户明确询问某项具体功能:如说话人区分(diarization)、翻译(translation)、PII 敏感信息脱敏(PII redaction)、情感分析(sentiment)、命名实体识别(NER)、字幕(subtitles)、摘要(summarization)等;
  • 在预录制或实时语音转文字任务中启用或配置一项或多项音频智能功能;
  • 了解各项功能在实时模式与预录制模式下的可用性差异;
  • 在单次转录任务中组合使用多个音频智能功能。

不建议使用的情况: 若仅需基础语音转文字能力,无需任何音频智能功能,请直接查阅 pre-recorded-transcription 或 live-transcription 文档。若遇到特定功能相关的异常或错误,请参考 troubleshooting 文档。

参考资料

根据需要查阅以下资源:

  • ./references/live-audio-intelligence.md —— 所有实时模式音频智能功能的详细配置说明与 WebSocket 响应格式
  • ./references/pre-recorded-audio-intelligence.md —— 所有预录制音频智能功能的详细配置说明与响应结构
  • ../pre-recorded-transcription/SKILL.md —— 预录制语音转文字的工作流程与可选参数
  • ../live-transcription/SKILL.md —— 实时语音转文字会话的配置方式与事件处理机制
  • ../sdk-integration/SKILL.md —— SDK 初始化、客户端创建,以及 SDK 与原始 API 的选型指南
  • ../troubleshooting/SKILL.md —— 常见错误、易错点及验证检查清单

功能可用性对比

功能 预录制 实时 配置项名称
说话人区分(Speaker diarization) 是 否 diarization
翻译(Translation) 是 是 translation
情感分析(Sentiment analysis) 是 是 sentiment_analysis
命名实体识别(Named entity recognition) 是 是 named_entity_recognition
字幕(SRT/VTT 格式)(Subtitles) 是 否 subtitles
自定义词表(Custom vocabulary) 是 是 custom_vocabulary
PII 敏感信息脱敏(PII redaction) 是 否 pii_redaction
章节划分(Chapterization) 是 是 chapterization(后处理)
摘要生成(Summarization) 是 是 summarization(后处理)
音频转大语言模型(Audio-to-LLM) 是 否 audio_to_llm
自定义拼写(Custom spelling) 是 是 custom_spelling
自定义元数据(Custom metadata) 是 是 custom_metadata

实时模式支持的功能分为两类:实时处理(结果在会话过程中持续流式返回)和 后处理(结果在调用 stopRecording() 后统一返回)。详情请参阅 ./references/live-audio-intelligence.md。

快速配置示例

以下代码示例均假设 GladiaClient 已完成初始化 —— 初始化方法请参阅 sdk-integration。

说话人区分(仅预录制支持)

const result = await client.preRecorded().transcribe("audio.mp3", {
  diarization: true,
  diarization_config: { number_of_speakers: 2 },
});
// 每条语句(utterance)将包含一个 speaker 字段(0 起始整数索引)
result = client.prerecorded().transcribe("audio.mp3", {
    "diarization": True,
    "diarization_config": {"number_of_speakers": 2},
})

翻译(预录制与实时均支持)

预录制模式:

const result = await client.preRecorded().transcribe("audio.mp3", {
  translation: true,
  translation_config: { target_languages: ["fr", "es"] },
});
result = client.prerecorded().transcribe("audio.mp3", {
    "translation": True,
    "translation_config": {"target_languages": ["fr", "es"]},
})

实时模式(结果作为 translation 类型的 WebSocket 事件流式返回 —— 详见 live-audio-intelligence.md):

const session = client.liveV2().startSession({
  // ... 音频格式相关配置 ...
  realtime_processing: {
    translation: true,
    translation_config: { target_languages: ["fr"] },
  },
});
from gladiaio_sdk import LiveV2InitRequest, LiveV2RealtimeProcessing

session = client.live().start_session(
    LiveV2InitRequest(
        # ... 音频格式相关配置 ...
        realtime_processing=LiveV2RealtimeProcessing(
            translation=True,
            translation_config={"target_languages": ["fr"]},
        ),
    )
)

摘要生成(预录制与实时均支持)

预录制模式:

const result = await client.preRecorded().transcribe("audio.mp3", {
  summarization: true,
  summarization_config: { type: "bullet_points" },
});

实时模式(结果在调用 stopRecording() 后作为 post_summarization 事件返回):

const session = client.liveV2().startSession({
  // ... 音频格式相关配置 ...
  post_processing: {
    summarization: true,
    summarization_config: { type: "bullet_points" },
  },
});
session.on("message", (msg) => {
  if (msg.type === "post_summarization") console.log(msg.data.results);
});

如需完整了解各功能的配置选项与响应结构,请查阅:

  • 预录制模式:./references/pre-recorded-audio-intelligence.md
  • 实时模式:./references/live-audio-intelligence.md

常见误用

  • 启用 code_switching: true 但未指定 languages:将触发对 100+ 种语言的全量评估,导致频繁误判。请始终明确提供 3–5 种预期语言。
  • 自定义词表(custom_vocabulary)的 intensity 值超过 0.6:该值超过 0.6 时易引发误替换(无关词汇被错误替换)。建议保持在 0.4–0.6 区间,并优先使用 pronunciations 提升准确率。
  • 在实时模式中期望使用说话人区分、PII 敏感信息脱敏、字幕或音频转大语言模型功能:以上四项功能仅支持预录制模式。
  • 同时启用过多功能而未考虑成本与延迟影响:每项启用的功能均会增加处理耗时。请按需启用;仅当确实需要全部功能时,才组合启用 diarization + summarization + translation。

完整易错点清单请参阅 troubleshooting 文档。

延伸阅读

  • 音频智能概览
  • 说话人区分(Speaker diarization)
  • 翻译(Translation)
  • 情感分析(Sentiment analysis)
  • 命名实体识别(Named entity recognition)
  • PII 敏感信息脱敏(PII redaction)
  • 自定义词表(Custom vocabulary)
  • 摘要生成(Summarization)
  • 章节划分(Chapterization)
  • 音频转大语言模型(Audio-to-LLM)
  • 实时音频智能(Live audio intelligence)

相关专题

更多
GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

GoFrame框架安装与gf命令行工具
GoFrame框架安装与gf命令行工具

本专题围绕GoFrame框架的安装与工具链配置展开,讲清Go版本要求、gf命令行的安装方式、代理镜像与依赖准备,说明项目初始化、热编译、交叉编译打包的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.17

0

15

GoFrame框架零基础入门
GoFrame框架零基础入门

本专题整理GoFrame框架的入门知识,从模块化设计理念、环境准备到跑通第一个Web服务,讲清目录分层、配置加载、日志与中间件的用法,并对比Gin、Go-Zero的差异,帮助Go开发者建立整体认知。

2026.11.17

0

15

SQLAlchemy 一对多关系怎么建立
SQLAlchemy 一对多关系怎么建立

SQLAlchemy 一对多关系怎么建立?本专题整理父子表外键、relationship 双向映射、关联查询、级联删除和加载优化等相关文章,帮助你理解并实现常见的 ORM 关系建模。

2026.11.17

0

10

SQLAlchemy 如何增删改查
SQLAlchemy 如何增删改查

SQLAlchemy 如何增删改查?本专题整理 ORM 新增记录、条件查询、更新和删除、Session 事务提交与批量处理等实用文章,帮助你掌握 Python 数据库操作流程。

2026.11.17

0

11

SQLAlchemy ORM 模型怎么写
SQLAlchemy ORM 模型怎么写

SQLAlchemy ORM 模型怎么写?本专题整理模型类定义、Mapped 字段映射、主键与约束、表结构创建和常见报错的相关文章,帮助你从基础配置到实际建模逐步掌握 SQLAlchemy。

2026.11.17

0

16

Go-Zero API开发使用教程
Go-Zero API开发使用教程

本专题聚焦Go-Zero的API开发,拆解.api描述文件的语法结构、路由与分组定义、参数绑定与校验规则,说明统一响应体、JWT鉴权、跨域与接口文档生成的落地方式,并给出网关聚合与接口测试的实践建议。

2026.11.12

0

15

Go-Zero安装与goctl环境配置教程
Go-Zero安装与goctl环境配置教程

本专题围绕Go-Zero的安装与工具链配置展开,讲清Go版本要求、goctl安装方式、代理镜像、protoc依赖与环境变量设置,说明多版本共存、升级回退与CI流水线安装的做法,并整理安装阶段的常见报错与验证步骤。

2026.11.12

0

15

Go-Zero零基础入门教程
Go-Zero零基础入门教程

本专题整理Go-Zero的入门知识,从框架定位、环境准备到跑通第一个API服务,讲清目录分层、配置加载、日志与中间件的基本用法,并对比Gin、Kratos的差异,帮助Go开发者建立整体认知,判断它是否适合当前项目。

2026.11.12

0

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习