部署一套全自动实时直播脚本监控系统。该系统可捕获直播音频(支持流拉取 / BlackHole / VB-Cable),执行实时语音识别(ASR)(支持阿里云 / iFlytek / 腾讯云 / 百度),基于滑动窗口频率检测机制,将识别结果与可配置的场景模板中的关键词进行匹配,并通过 WebSocket 将告警推送至大屏看板,支持自动按关键词切换场景。跨平台支持:macOS。
live-script-monitor — 直播话术巡检系统是一项面向实际任务的技能,主要用于实时采集直播音频 → ASR 语音转写 → 关键词检测 → 场景自动切换 → 告警推送 → 大屏可视化;截图说明 (从左到右、从上到下):;
它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。
实时采集直播音频 → ASR 语音转写 → 关键词检测 → 场景自动切换 → 告警推送 → 大屏可视化。

截图说明(从左到右、从上到下):
S004 客服互动)live-script-monitor/ ├── assets/dashboard/ # 大屏前端 (Vue.js 3 SPA) │ ├── index.html # 主页面 (含弹窗管理后台) │ └── vue.global.prod.js # Vue 本地文件 (不依赖 CDN, 通过 /static/ 挂载) ├── scripts/ # Python 后端 │ ├── main.py # 主入口 (LiveMonitorApp) │ ├── config.yaml # 配置文件 (含场景/规则/ASR密钥) │ ├── audio_capture.py # 音频采集 (跨平台: BlackHole/VB-Cable/WASAPI) │ ├── asr_base.py # ASR 抽象基类 + 工厂方法 │ ├── asr_aliyun.py # 阿里云 ASR 驱动 (WebSocket + httpx Token) │ ├── asr_iflytek.py # (预留) 科大讯飞 ASR 驱动 │ ├── asr_tencent.py # (预留) 腾讯云 ASR 驱动 │ ├── asr_baidu.py # (预留) 百度 ASR 驱动 │ ├── rule_engine.py # 规则引擎 (关键词检测/场景切换/告警) │ ├── dashboard_server.py # HTTP+WS 大屏服务 (FastAPI+Uvicorn) │ └── requirements.txt # Python 依赖 └── recordings/ # 录制输出目录
系统音频 ──→ BlackHole/VB-Cable ──→ FFmpeg(avfoundation/dshow) ──→ PCM s16le 16kHz mono ──→ AudioCapture._emit_audio() ──→ ASR.send_audio() ──→ 阿里云 NLS WebSocket ──→ TranscriptionResultChanged(中间结果) ──→ 大屏流式显示 + 规则引擎 ──→ SentenceEnd(最终结果) ──→ 大屏历史记录 + 规则引擎全量检查 ──→ 关键词命中 ──→ 场景切换 + 告警判定 ──→ 大屏推送告警
cd live-script-monitor/scripts # 1. 创建虚拟环境并安装依赖 python3 -m venv .venv source .venv/bin/activate # macOS .venvScriptsactivate # Windows pip install -r requirements.txt # 2. 编辑 config.yaml 填入阿里云 ASR 密钥 # 3. 启动 (推荐 system_audio 模式) python main.py --config config.yaml # 4. 打开大屏 # http://localhost:9999
系统支持 4 种采集模式,在 config.yaml 的 streamer.capture_mode 中配置:
| 模式 | 说明 | 适用场景 |
|---|---|---|
system_audio |
系统声卡捕获 (推荐) | macOS/Windows 直接采集系统输出音频 |
stream |
拉取 RTMP/FLV 直播流 | 有推流地址时 |
hybrid |
先试拉流,失败切系统声卡 | 不确定推流地址是否可用 |
watch |
监听录制目录文件 | 配合 DouyinLiveRecorder 使用 |
推荐使用
system_audio。hybrid模式会先尝试拉流(必失败等 15 秒超时),浪费时间。
brew install blackhole-2ch
打开「音频 MIDI 设置」(Spotlight 搜索 "Audio MIDI Setup"):
+ → 选择「创建多输出设备」不创建多输出设备的话,你将听不到声音(全部被 BlackHole 截走)。
macOS 会按启动进程的父应用检查麦克风权限。从 WorkBuddy/Terminal 启动的 Python → FFmpeg 子进程,需要父应用有麦克风权限。
首次运行时系统会弹窗请求麦克风权限,必须点「允许」。
如果之前拒绝了,需要重置权限重新弹窗:
# 重置指定应用的麦克风权限 (下次运行会重新弹窗) tccutil reset Microphone com.workbuddy.workbuddy # WorkBuddy tccutil reset Microphone com.apple.Terminal # Terminal
权限状态查询:
sqlite3 ~/Library/Application Support/com.apple.TCC/TCC.db "SELECT client, auth_value FROM access WHERE service='kTCCServiceMicrophone';" # auth_value: 0=拒绝, 2=允许
无麦克风权限的表现:FFmpeg 报 Cannot use BlackHole 2ch,或抓到全零数据。
# 列出 avfoundation 设备,确认 BlackHole 索引 ffmpeg -f avfoundation -list_devices true -i "" 2>&1 | head -20 # 测试抓 3 秒音频 ffmpeg -f avfoundation -i ":0" -f s16le -ac 1 -ar 16000 -t 3 /tmp/test.raw 2>&1 # 播放声音的同时抓取,检查文件非零字节比例
系统自动构建的命令:
ffmpeg -f avfoundation -i ":0" -f s16le -acodec pcm_s16le -ac 1 -ar 16000 -loglevel error pipe:1
:0 — 音频设备索引 0(BlackHole 2ch),视频设备留空s16le — 16 位小端 PCMac 1 — 单声道ar 16000 — 16kHz 采样率(阿里云 ASR 要求)# FFmpeg winget install ffmpeg # VB-Cable (需手动下载) # https://vb-audio.com/Cable/ # 运行 VBCABLE_Setup_x64.exe → 重启
audio_capture.py 的 capture_system_audio() 会自动检测 VB-Cable。如果安装了「立体声混音」(Stereo Mix),也可直接使用。
启用立体声混音:系统托盘 → 声音 → 录制 → 右键空白处 → 显示禁用设备 → 启用「立体声混音」。
streamer:
capture_mode: system_audio # 推荐值
audio:
sample_rate: 16000 # 阿里云 ASR 要求 16kHz
channels: 1 # 单声道
format: s16le # 16位小端 PCM
chunk_seconds: 1 # 每片 1 秒,越小延迟越低
_emit_audio() 会采样检测非零字节比例:
注意:没有声音播放时 BlackHole 抓到全零是正常现象,不是 Bug。
asr_provider: aliyun
aliyun_asr:
enabled: true
app_key: "你的AppKey"
access_key_id: "你的AccessKeyId"
access_key_secret: "你的AccessKeySecret"
url: "wss://nls-gateway-cn-shanghai.aliyuncs.com/ws/v1"
params:
format: pcm
sample_rate: 16000
enable_intermediate_result: true # 开启流式中间结果
enable_punctuation_prediction: true
enable_inverse_text_normalization: true
使用 httpx 直接调用阿里云 CreateToken REST API,通过 HMAC-SHA1 签名鉴权。不需要安装 aliyun-python-sdk-core 或 aliyunsdkcore。
| 消息类型 | 说明 | 处理方式 |
|---|---|---|
TranscriptionStarted |
识别已启动 | 设置 _transcription_started=True,开始接收音频 |
SentenceBegin |
句子开始 | 日志记录 |
TranscriptionResultChanged |
流式中间结果 | 推送大屏(流式显示)+ 送规则引擎 |
SentenceEnd |
句子结束 | 推送大屏(历史记录)+ 规则引擎全量检查 |
TranscriptionCompleted |
识别完成 | 同 SentenceEnd |
TaskFailed |
任务失败 | 记录完整错误,重置状态 |
send_audio()发送的是原始 PCM 二进制数据,不需要自定义二进制头。阿里云 NLS WebSocket 直接接收裸 PCM。
TranscriptionResultChanged(中间结果)每次都推送到大屏,实现逐字输出效果:
ASR中间结果 → push_partial_transcript() → 大屏替换当前行 (不是追加) ASR最终结果 → push_transcript() → 大屏追加到历史记录
process_text(text, is_partial=True) — 中间结果:关键词级去重(同一关键词同句只计一次),规则检查process_text(text, is_partial=False) — 最终结果:重置去重集合,全量规则检查_check_rule 中 dedup 检查在告警判定之后,只有确实要触发告警才检查去重config.yaml 中 app.scene_mode: auto_keyword 时启用关键词驱动场景切换:
detect_scene_by_keywords 基于 switch_keywords 精确子串匹配switch_keywords 需要匹配实际直播话术,配置不当会导致场景识别不准fuzzysearch, max_l_dist=1)| 类型 | 说明 | 触发条件 |
|---|---|---|
absence_alert |
缺失告警 | 时间窗口内关键词命中次数 < min_hits |
frequency_alert |
频次告警 | 时间窗口内核心短语命中次数 < min_hits |
告警去重:同一 scene_id + rule_type + window 组合在 5 分钟内只触发一次。
http://localhost:9999os.execv 原地重启,不依赖外部脚本)saveSystemConfig() 自动设 enabled: true,确保填了凭证后 ASR 能正常启用static/vue.global.prod.js,不依赖 CDN)main.py 启动顺序:
_run_dashboard_async() — HTTP+WS 服务_run_audio_capture() — 根据 capture_mode 启动采集_run_asr() — ASR WebSocket 连接_monitor_stream_status() — 状态监控scenes:
- id: S001
name: 开场暖场
duration_minutes: 5
switch_keywords: [欢迎, 直播间, 新朋友, 关注]
rules:
- type: absence_alert
window_seconds: 180 # 3分钟窗口
min_hits: 1 # 至少命中1次
alert_level: red # red=严重, yellow=警告
message: "开场环节:3分钟内未出现欢迎话术"
keywords: [欢迎, 直播间, 基诺浦]
_enabled: true
switch_keywords是场景切换关键词,rules[].keywords是告警检测关键词,两者独立配置。
tccutil reset Microphone)capture_mode 是否为 system_audio(hybrid 会先拉流等 15 秒)| 问题 | 原因 | 修复 |
|---|---|---|
| Vue.js 白屏 | unpkg CDN 被墙 | 下载 vue.global.prod.js 本地引用 |
| Vue 白屏(CDN 解决后仍黑) | return 语句含未定义 sysFields | 删除 sysFields |
| 管理后台保存按钮无反应 | loadSystemConfig/saveSystemConfig 未暴露到 Vue return | 补上 return 语句 |
| 管理后台非弹窗 | 旧版本 inline 代码 | 改为 modal 弹窗 (admin-overlay + admin-modal) |
| 保存配置后服务挂了 | os._exit(0) 自杀(无 run.sh 时无法复活) |
改为 os.execv 原地重启 |
| ASR 填了正确 key 但不生效 | aliyun_asr.enabled 仍为 false |
前端 saveSystemConfig 自动设 enabled:true |
| ASR error 40000004 | send_audio 发了自定义二进制头 |
直接发送原始 PCM 字节 |
| ASR IDLE_TIMEOUT 超时 | 麦克风权限未授予(WorkBuddy 进程) | tccutil reset Microphone 重置权限 |
| ASR 连接成功但无转写文字 | TranscriptionResultChanged 过滤条件过严 (len+3) | 去掉长度过滤,有 result 就输出 |
| aliyunsdkcore 缺 auth.credentials | SDK 版本过旧 | 改用 httpx 直接调 CreateToken API |
| capture_mode=hybrid 先拉流等 15 秒 | 拉流必失败才降级 | config.yaml 改 capture_mode: system_audio |
| BlackHole 抓到全零数据 | 当前没有声音在播放 | 正常现象,播放音频时会有非零数据 |
| FFmpeg 报 Cannot use BlackHole | macOS 麦克风权限未授予 | tccutil reset Microphone 重置权限 |
| 转写文字一段一段蹦 | 中间结果有 len+3 过滤 | 去掉过滤,每次中间结果都推送 |
| 场景识别不准 | switch_keywords 不匹配实际话术 | 根据实际直播话术调整 config.yaml |
| 告警规则不执行 | process_text 只在 final 结果时调用 | partial 结果也送入规则引擎 |
| 告警被 dedup 阻止 | dedup 检查在告警判定之前 | dedup 移到告警判定之后 |
| fuzzysearch 误匹配短词 | max_l_dist=2 太松 | 改为 max_l_dist=1,短词仅精确匹配 |
| 场景切换阈值过高 | 要求领先 2 分才切换 | 降为 best_score >= 1 且 > current_score |
| 外部浏览器打不开 | IPv6 不通 | dashboard_server.py 绑定 "::" (双栈) |
| 页面报 {"error":"dashboard not found"} | static_dir 路径不对 | config.yaml: static_dir: ../assets/dashboard |
音频采集
_emit_audio() 静音检测(多位置采样非零比例)capture_mode 推荐改为 system_audio(避免 hybrid 等 15 秒)ASR 驱动 (阿里云)
send_audio() 发送原始 PCM 字节,去掉自定义二进制头(修复 error 40000004)_transcription_started 标志,等服务器确认后才开始发音频TranscriptionResultChanged 去掉 len+3 过滤,每次都推送(修复流式输出)ping_interval/ping_timeout 修正为合理值(20s/10s)disconnect() 使用正确的 task_id 和 appkey规则引擎
process_text 新增 is_partial 参数,partial 结果也送入规则引擎_recorded_keywords),同一关键词同句只计一次_check_rule 中 dedup 移到告警判定之后(修复告警不触发)_match_keyword 模糊匹配收紧:max_l_dist=1,短词仅精确匹配detect_scene_by_keywords 切换阈值降低:best_score >= 1 且 > current_scoredetect_scene_by_keywords 中的死代码大屏前端
static/vue.global.prod.js)saveSystemConfig 自动设 enabled: trueloadSystemConfig/saveSystemConfig 到 Vue return配置
相关专题
热门下载
相关下载
精品课程
共6课时 | 54.8万人学习
共89课时 | 134.5万人学习
共49课时 | 82.8万人学习
最新文章