直播间话术巡检

Polar Sponsor
爱发电 赞助
.NET 9.0

部署一套全自动实时直播脚本监控系统。该系统可捕获直播音频(支持流拉取 / BlackHole / VB-Cable),执行实时语音识别(ASR)(支持阿里云 / iFlytek / 腾讯云 / 百度),基于滑动窗口频率检测机制,将识别结果与可配置的场景模板中的关键词进行匹配,并通过 WebSocket 将告警推送至大屏看板,支持自动按关键词切换场景。跨平台支持:macOS。

live-script-monitor — 直播话术巡检系统

功能概述

live-script-monitor — 直播话术巡检系统是一项面向实际任务的技能,主要用于实时采集直播音频 → ASR 语音转写 → 关键词检测 → 场景自动切换 → 告警推送 → 大屏可视化;截图说明 (从左到右、从上到下):;

核心要点

  • 实时语音识别区 :流式转写文字,逐字更新;
  • 场景指示器 :右上角显示当前场景编号和名称(如 S004 客服互动 );
  • 告警状态灯 :绿色=正常 / 黄色=警告 / 红色=严重违规,下。

使用与执行

它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;

结果检查与注意事项

若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。

live-script-monitor — 直播话术巡检系统

实时采集直播音频 → ASR 语音转写 → 关键词检测 → 场景自动切换 → 告警推送 → 大屏可视化。

效果截图

直播话术巡检大屏

截图说明(从左到右、从上到下):

  • 实时语音识别区:流式转写文字,逐字更新
  • 场景指示器:右上角显示当前场景编号和名称(如 S004 客服互动)
  • 告警状态灯:绿色=正常 / 黄色=警告 / 红色=严重违规,下方显示倒计时
  • 告警历史面板:时间戳 + 场景名 + 触发规则说明,按时间倒序排列
  • 关键词追踪栏:右侧显示各关键词最近命中时间和间隔

系统架构

live-script-monitor/
├── assets/dashboard/        # 大屏前端 (Vue.js 3 SPA)
│   ├── index.html           # 主页面 (含弹窗管理后台)
│   └── vue.global.prod.js   # Vue 本地文件 (不依赖 CDN, 通过 /static/ 挂载)
├── scripts/                 # Python 后端
│   ├── main.py              # 主入口 (LiveMonitorApp)
│   ├── config.yaml          # 配置文件 (含场景/规则/ASR密钥)
│   ├── audio_capture.py     # 音频采集 (跨平台: BlackHole/VB-Cable/WASAPI)
│   ├── asr_base.py          # ASR 抽象基类 + 工厂方法
│   ├── asr_aliyun.py        # 阿里云 ASR 驱动 (WebSocket + httpx Token)
│   ├── asr_iflytek.py       # (预留) 科大讯飞 ASR 驱动
│   ├── asr_tencent.py       # (预留) 腾讯云 ASR 驱动
│   ├── asr_baidu.py         # (预留) 百度 ASR 驱动
│   ├── rule_engine.py       # 规则引擎 (关键词检测/场景切换/告警)
│   ├── dashboard_server.py  # HTTP+WS 大屏服务 (FastAPI+Uvicorn)
│   └── requirements.txt     # Python 依赖
└── recordings/              # 录制输出目录

数据流

系统音频 ──→ BlackHole/VB-Cable ──→ FFmpeg(avfoundation/dshow)
  ──→ PCM s16le 16kHz mono ──→ AudioCapture._emit_audio()
  ──→ ASR.send_audio() ──→ 阿里云 NLS WebSocket
  ──→ TranscriptionResultChanged(中间结果) ──→ 大屏流式显示 + 规则引擎
  ──→ SentenceEnd(最终结果) ──→ 大屏历史记录 + 规则引擎全量检查
  ──→ 关键词命中 ──→ 场景切换 + 告警判定 ──→ 大屏推送告警

快速启动

cd live-script-monitor/scripts

# 1. 创建虚拟环境并安装依赖
python3 -m venv .venv
source .venv/bin/activate      # macOS
.venvScriptsactivate         # Windows
pip install -r requirements.txt

# 2. 编辑 config.yaml 填入阿里云 ASR 密钥

# 3. 启动 (推荐 system_audio 模式)
python main.py --config config.yaml

# 4. 打开大屏
# http://localhost:9999

音频采集配置 (重点)

系统支持 4 种采集模式,在 config.yaml 的 streamer.capture_mode 中配置:

模式 说明 适用场景
system_audio 系统声卡捕获 (推荐) macOS/Windows 直接采集系统输出音频
stream 拉取 RTMP/FLV 直播流 有推流地址时
hybrid 先试拉流,失败切系统声卡 不确定推流地址是否可用
watch 监听录制目录文件 配合 DouyinLiveRecorder 使用

推荐使用 system_audio。hybrid 模式会先尝试拉流(必失败等 15 秒超时),浪费时间。

macOS — BlackHole 虚拟声卡

1. 安装 BlackHole

brew install blackhole-2ch

2. 创建多输出设备

打开「音频 MIDI 设置」(Spotlight 搜索 "Audio MIDI Setup"):

  1. 左下角点击 + → 选择「创建多输出设备」
  2. 右侧勾选:
    • BlackHole 2ch — 用于系统采集
    • 扬声器/耳机 — 用于正常听声音
  3. 主设备选你的扬声器/耳机
  4. 确保这个「多输出设备」是系统默认输出设备

不创建多输出设备的话,你将听不到声音(全部被 BlackHole 截走)。

3. macOS 麦克风权限 (关键!)

macOS 会按启动进程的父应用检查麦克风权限。从 WorkBuddy/Terminal 启动的 Python → FFmpeg 子进程,需要父应用有麦克风权限。

首次运行时系统会弹窗请求麦克风权限,必须点「允许」。

如果之前拒绝了,需要重置权限重新弹窗:

# 重置指定应用的麦克风权限 (下次运行会重新弹窗)
tccutil reset Microphone com.workbuddy.workbuddy    # WorkBuddy
tccutil reset Microphone com.apple.Terminal          # Terminal

权限状态查询:

sqlite3 ~/Library/Application Support/com.apple.TCC/TCC.db 
  "SELECT client, auth_value FROM access WHERE service='kTCCServiceMicrophone';"
# auth_value: 0=拒绝, 2=允许

无麦克风权限的表现:FFmpeg 报 Cannot use BlackHole 2ch,或抓到全零数据。

4. 验证音频采集

# 列出 avfoundation 设备,确认 BlackHole 索引
ffmpeg -f avfoundation -list_devices true -i "" 2>&1 | head -20

# 测试抓 3 秒音频
ffmpeg -f avfoundation -i ":0" -f s16le -ac 1 -ar 16000 -t 3 /tmp/test.raw 2>&1
# 播放声音的同时抓取,检查文件非零字节比例

5. FFmpeg 命令 (macOS)

系统自动构建的命令:

ffmpeg -f avfoundation -i ":0" 
  -f s16le -acodec pcm_s16le -ac 1 -ar 16000 
  -loglevel error pipe:1
  • :0 — 音频设备索引 0(BlackHole 2ch),视频设备留空
  • s16le — 16 位小端 PCM
  • ac 1 — 单声道
  • ar 16000 — 16kHz 采样率(阿里云 ASR 要求)

Windows — VB-Cable 虚拟声卡

1. 安装

# FFmpeg
winget install ffmpeg

# VB-Cable (需手动下载)
# https://vb-audio.com/Cable/
# 运行 VBCABLE_Setup_x64.exe → 重启

2. 配置

  1. 系统声音设置 → 输出设备选「CABLE Input」
  2. 系统声音设置 → 输入设备选「CABLE Output」
  3. 这样系统音频 → CABLE Input → CABLE Output → FFmpeg 采集

3. Windows 也可用 WASAPI / Stereo Mix

audio_capture.py 的 capture_system_audio() 会自动检测 VB-Cable。如果安装了「立体声混音」(Stereo Mix),也可直接使用。

启用立体声混音:系统托盘 → 声音 → 录制 → 右键空白处 → 显示禁用设备 → 启用「立体声混音」。

音频参数 (config.yaml)

streamer:
  capture_mode: system_audio    # 推荐值
  audio:
    sample_rate: 16000          # 阿里云 ASR 要求 16kHz
    channels: 1                 # 单声道
    format: s16le               # 16位小端 PCM
    chunk_seconds: 1            # 每片 1 秒,越小延迟越低

静音检测

_emit_audio() 会采样检测非零字节比例:

  • 0-1% 非零 — 可能无音频播放或路由未配好,打印 WARNING
  • 正常播放时 — 非零比例通常 40-100%

注意:没有声音播放时 BlackHole 抓到全零是正常现象,不是 Bug。

阿里云 ASR 配置

前置条件

  1. 阿里云控制台开通「智能语音交互」服务
  2. 创建项目,获取 AppKey
  3. 创建 AccessKey(需 AliyunNLSFullAccess 权限)
  4. 确认区域(默认 cn-shanghai)

config.yaml 配置

asr_provider: aliyun
aliyun_asr:
  enabled: true
  app_key: "你的AppKey"
  access_key_id: "你的AccessKeyId"
  access_key_secret: "你的AccessKeySecret"
  url: "wss://nls-gateway-cn-shanghai.aliyuncs.com/ws/v1"
  params:
    format: pcm
    sample_rate: 16000
    enable_intermediate_result: true    # 开启流式中间结果
    enable_punctuation_prediction: true
    enable_inverse_text_normalization: true

Token 获取方式

使用 httpx 直接调用阿里云 CreateToken REST API,通过 HMAC-SHA1 签名鉴权。不需要安装 aliyun-python-sdk-core 或 aliyunsdkcore。

ASR 消息处理

消息类型 说明 处理方式
TranscriptionStarted 识别已启动 设置 _transcription_started=True,开始接收音频
SentenceBegin 句子开始 日志记录
TranscriptionResultChanged 流式中间结果 推送大屏(流式显示)+ 送规则引擎
SentenceEnd 句子结束 推送大屏(历史记录)+ 规则引擎全量检查
TranscriptionCompleted 识别完成 同 SentenceEnd
TaskFailed 任务失败 记录完整错误,重置状态

send_audio() 发送的是原始 PCM 二进制数据,不需要自定义二进制头。阿里云 NLS WebSocket 直接接收裸 PCM。

流式输出与规则引擎

ASR 流式输出

TranscriptionResultChanged(中间结果)每次都推送到大屏,实现逐字输出效果:

ASR中间结果 → push_partial_transcript() → 大屏替换当前行 (不是追加)
ASR最终结果 → push_transcript() → 大屏追加到历史记录

规则引擎处理 partial 结果

  • process_text(text, is_partial=True) — 中间结果:关键词级去重(同一关键词同句只计一次),规则检查
  • process_text(text, is_partial=False) — 最终结果:重置去重集合,全量规则检查
  • _check_rule 中 dedup 检查在告警判定之后,只有确实要触发告警才检查去重

场景切换 (auto_keyword 模式)

config.yaml 中 app.scene_mode: auto_keyword 时启用关键词驱动场景切换:

  • detect_scene_by_keywords 基于 switch_keywords 精确子串匹配
  • 阈值:新场景得分 >= 1 且 > 当前场景得分即可切换
  • switch_keywords 需要匹配实际直播话术,配置不当会导致场景识别不准

关键词匹配

  • 精确子串匹配优先
  • 长度 >= 3 的关键词启用模糊匹配 (fuzzysearch, max_l_dist=1)
  • 短关键词(如"欢迎")仅精确匹配,避免误匹配

告警规则类型

类型 说明 触发条件
absence_alert 缺失告警 时间窗口内关键词命中次数 < min_hits
frequency_alert 频次告警 时间窗口内核心短语命中次数 < min_hits

告警去重:同一 scene_id + rule_type + window 组合在 5 分钟内只触发一次。

大屏与管理后台

  • 大屏地址:http://localhost:9999
  • 管理后台:大屏右上角齿轮图标 → 弹窗
  • 保存配置后自动热重启(os.execv 原地重启,不依赖外部脚本)
  • 前端 saveSystemConfig() 自动设 enabled: true,确保填了凭证后 ASR 能正常启用

前端技术栈

  • Vue.js 3 (本地引用 static/vue.global.prod.js,不依赖 CDN)
  • WebSocket 实时推送
  • 暖色调 UI(品牌色 #f76c23)

ASR 服务启动流程

main.py 启动顺序:

  1. 规则引擎初始化(内存模式,无需 Redis)
  2. 大屏服务初始化(FastAPI + Uvicorn)
  3. ASR 初始化 → 检查占位符 → 创建客户端
  4. 音频采集初始化
  5. 启动异步任务:
    • _run_dashboard_async() — HTTP+WS 服务
    • _run_audio_capture() — 根据 capture_mode 启动采集
    • _run_asr() — ASR WebSocket 连接
    • _monitor_stream_status() — 状态监控

场景与规则配置 (config.yaml)

scenes:
  - id: S001
    name: 开场暖场
    duration_minutes: 5
    switch_keywords: [欢迎, 直播间, 新朋友, 关注]
    rules:
      - type: absence_alert
        window_seconds: 180        # 3分钟窗口
        min_hits: 1                # 至少命中1次
        alert_level: red           # red=严重, yellow=警告
        message: "开场环节:3分钟内未出现欢迎话术"
        keywords: [欢迎, 直播间, 基诺浦]
        _enabled: true

switch_keywords 是场景切换关键词,rules[].keywords 是告警检测关键词,两者独立配置。

故障排查

部署检查清单

  1. 端口 9999 是否 LISTENING
  2. 日志中是否有「阿里云 ASR 识别已开始」
  3. 日志中是否有「已发送 N 个音频块」
  4. 日志中是否有「ASR 中间结果」或「ASR 句子结束」
  5. macOS: 检查麦克风权限 (tccutil reset Microphone)
  6. 检查 config.yaml 是否有真实密钥(非占位符)
  7. 检查 capture_mode 是否为 system_audio(hybrid 会先拉流等 15 秒)

常见问题速查

问题 原因 修复
Vue.js 白屏 unpkg CDN 被墙 下载 vue.global.prod.js 本地引用
Vue 白屏(CDN 解决后仍黑) return 语句含未定义 sysFields 删除 sysFields
管理后台保存按钮无反应 loadSystemConfig/saveSystemConfig 未暴露到 Vue return 补上 return 语句
管理后台非弹窗 旧版本 inline 代码 改为 modal 弹窗 (admin-overlay + admin-modal)
保存配置后服务挂了 os._exit(0) 自杀(无 run.sh 时无法复活) 改为 os.execv 原地重启
ASR 填了正确 key 但不生效 aliyun_asr.enabled 仍为 false 前端 saveSystemConfig 自动设 enabled:true
ASR error 40000004 send_audio 发了自定义二进制头 直接发送原始 PCM 字节
ASR IDLE_TIMEOUT 超时 麦克风权限未授予(WorkBuddy 进程) tccutil reset Microphone 重置权限
ASR 连接成功但无转写文字 TranscriptionResultChanged 过滤条件过严 (len+3) 去掉长度过滤,有 result 就输出
aliyunsdkcore 缺 auth.credentials SDK 版本过旧 改用 httpx 直接调 CreateToken API
capture_mode=hybrid 先拉流等 15 秒 拉流必失败才降级 config.yaml 改 capture_mode: system_audio
BlackHole 抓到全零数据 当前没有声音在播放 正常现象,播放音频时会有非零数据
FFmpeg 报 Cannot use BlackHole macOS 麦克风权限未授予 tccutil reset Microphone 重置权限
转写文字一段一段蹦 中间结果有 len+3 过滤 去掉过滤,每次中间结果都推送
场景识别不准 switch_keywords 不匹配实际话术 根据实际直播话术调整 config.yaml
告警规则不执行 process_text 只在 final 结果时调用 partial 结果也送入规则引擎
告警被 dedup 阻止 dedup 检查在告警判定之前 dedup 移到告警判定之后
fuzzysearch 误匹配短词 max_l_dist=2 太松 改为 max_l_dist=1,短词仅精确匹配
场景切换阈值过高 要求领先 2 分才切换 降为 best_score >= 1 且 > current_score
外部浏览器打不开 IPv6 不通 dashboard_server.py 绑定 "::" (双栈)
页面报 {"error":"dashboard not found"} static_dir 路径不对 config.yaml: static_dir: ../assets/dashboard

更新日志

v2.0.0 (2026-06-18)

音频采集

  • 新增 macOS BlackHole 详细配置文档(多输出设备、麦克风权限、验证步骤)
  • 新增 _emit_audio() 静音检测(多位置采样非零比例)
  • FFmpeg 子进程退出后读取 stderr 输出,方便排查
  • FFmpeg 进程异常退出后自动重试(3 秒间隔)
  • capture_mode 推荐改为 system_audio(避免 hybrid 等 15 秒)

ASR 驱动 (阿里云)

  • 去掉 aliyunsdkcore SDK 依赖,改用 httpx + HMAC-SHA1 直接调 CreateToken API
  • send_audio() 发送原始 PCM 字节,去掉自定义二进制头(修复 error 40000004)
  • 新增 _transcription_started 标志,等服务器确认后才开始发音频
  • TranscriptionResultChanged 去掉 len+3 过滤,每次都推送(修复流式输出)
  • ping_interval/ping_timeout 修正为合理值(20s/10s)
  • disconnect() 使用正确的 task_id 和 appkey

规则引擎

  • process_text 新增 is_partial 参数,partial 结果也送入规则引擎
  • 关键词级去重(_recorded_keywords),同一关键词同句只计一次
  • _check_rule 中 dedup 移到告警判定之后(修复告警不触发)
  • _match_keyword 模糊匹配收紧:max_l_dist=1,短词仅精确匹配
  • detect_scene_by_keywords 切换阈值降低:best_score >= 1 且 > current_score
  • 删除 detect_scene_by_keywords 中的死代码

大屏前端

  • Vue CDN 改为本地引用 (static/vue.global.prod.js)
  • 管理后台从 inline 改为 modal 弹窗
  • saveSystemConfig 自动设 enabled: true
  • 补回 loadSystemConfig/saveSystemConfig 到 Vue return

配置

  • config.yaml 密钥脱敏(发布前替换为占位符)
  • requirements.txt 更新(去掉 aliyunsdkcore,加 httpx)

v1.0.0

  • 初始版本
  • 支持 macOS/Windows 跨平台音频采集
  • 阿里云 ASR 实时语音转写
  • 关键词检测 + 场景切换 + 告警推送
  • FastAPI + WebSocket 大屏

相关专题

更多
CVE-2026-114938高危漏洞修复
CVE-2026-114938高危漏洞修复

Java4Shell是OpenJDK Base64解码路径中的远程代码执行漏洞,编号CVE-2026-114938,2026年11月17日披露,官方已发布17.0.21.1、21.0.13.1等修复版本,建议优先升级 。本专题围绕Java4Shell(CVE-2026-114938)持续更新,从漏洞原理、受影响版本、受影响产品到修复与自查一站式汇总,适合Java开发、运维与安全人员快速定位风险。ARM64环境不受影响,x86-64环境请

2026.11.22

0

11

Navicat创建数据库教程
Navicat创建数据库教程

本专题整理Navicat创建数据库相关教程,介绍新建前的准备、基础设置和创建后的检查方法。内容兼顾入门学习及实际使用需求,帮助用户了解不同数据库类型下的操作差异,为后续建表、保存数据和日常管理提供参考。

2026.11.20

0

7

Navicat入门教程大全
Navicat入门教程大全

本专题整理Navicat入门教程,从认识软件界面到开展数据库操作,介绍初次使用需要了解的知识和方法。内容兼顾连接配置、数据管理及日常使用中的疑问,方便用户按学习进度查阅,为后续实践和独立操作打好基础。

2026.11.20

0

17

Navicat数据库连接配置指南
Navicat数据库连接配置指南

从确认数据库信息到建立可用连接,本专题串联Navicat连接数据库的相关知识和操作方法。既有初次配置时需要了解的基础内容,也有连接后的检查思路,方便用户按实际需求查阅教程,逐步熟悉数据库连接的设置流程。

2026.11.20

0

10

PHP8.6数组与数据处理教程
PHP8.6数组与数据处理教程

本专题汇总PHP8.6数组与数据处理教程,涵盖CSV读取和导出、引用遍历删除、array_filter回调模式、配置键名冲突、pathinfo文件名校验、GMP大整数进制转换及UTF-8正则筛选,说明升级兼容变化、输入范围和失败处理方法。

2026.11.20

0

8

PHP8.6升级迁移教程
PHP8.6升级迁移教程

本专题汇总PHP8.6升级迁移与弃用接口改造教程,涵盖反射调用、对象属性赋值、标识符更名、构造函数与__debugInfo调整,以及插件类名检查、常量导出、ArrayIterator排序、SPL和DTO查询参数转换,帮助梳理弃用提示并完成代码兼容改造。

2026.11.20

0

10

PHP8.6安装配置与FPM运维教程
PHP8.6安装配置与FPM运维教程

本专题汇总PHP8.6正式版安装部署与FPM运维教程,涵盖Linux并存安装、独立ini配置、扩展重新编译、Nginx切换与回滚、FPM状态监控和慢日志排查,以及环境变量、请求超时、OPcache刷新和预加载配置。

2026.11.20

0

10

Nginx CVE-2026-123007排查与防护指南
Nginx CVE-2026-123007排查与防护指南

Nginx HTTP/2漏洞该怎么修复?本专题围绕CVE-2026-123007,介绍安全版本升级、模块兼容检查和配置恢复方法,以及日志排查、权限设置等后续加固操作,方便你按实际部署情况查找对应教程。

2026.11.20

0

8

GoFrame框架Web开发与路由中间件
GoFrame框架Web开发与路由中间件

本专题聚焦GoFrame框架的Web开发,拆解路由注册与匹配规则、请求参数获取、参数校验与中间件执行顺序,说明统一响应、JWT鉴权、文件上传与接口文档生成的落地方式,并补充优雅重启与测试实践。

2026.11.17

0

15

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.8万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.5万人学习