SenseVoice 转录

使用 FunASR 的 iic/SenseVoiceSmall 模型对音频进行转录，输出带时间戳的文本；时间戳锚定采用 fsmn-vad 语音活动检测（VAD）模型。

处理流程

1. FSMN-VAD 将音频切分为语音片段（例如：30 分钟音频约生成 258 个片段）
2. SenseVoice-Small 对整段音频执行转录，启用 merge_vad=True
3. 原始文本按 <|zh|> 标签分割 → 经 rich_transcription_postprocess() 清洗
4. 文本片段按比例映射至 VAD 时间戳
5. 输出格式为每行一条 [HH:MM:SS] text，时间粒度约为 15 秒

运行环境

Venv: ~/.openclaw/venvs/sensevoice/
Python: 3.12
关键依赖包: funasr==1.3.1, modelscope, onnxruntime
模型缓存路径: ~/.cache/modelscope/hub/models/iic/SenseVoiceSmall
VAD 模型缓存路径: ~/.cache/modelscope/hub/models/iic/speech_fsmn_vad_zh-cn-16k-common-pytorch

首次配置

python3 -m venv ~/.openclaw/venvs/sensevoice
source ~/.openclaw/venvs/sensevoice/bin/activate
pip install funasr modelscope onnxruntime
# 模型将在首次运行时自动下载（SenseVoice 约 234MB + VAD 约 4MB）

使用方法

单文件转录

source ~/.openclaw/venvs/sensevoice/bin/activate
python3 -c "
from funasr import AutoModel
from funasr.utils.postprocess_utils import rich_transcription_postprocess
from datetime import datetime, timedelta
import re

wav = ''
# 从文件名解析起始时间：TX01_MIC015_20260308_124130_orig.wav
m = re.search(r'(\d{8})_(\d{6})', wav)
start_dt = datetime.strptime(m.group(1)+m.group(2), '%Y%m%d%H%M%S') if m else None

vad_model = AutoModel(model='fsmn-vad', disable_update=True)
model = AutoModel(model='iic/SenseVoiceSmall', vad_model='fsmn-vad',
                  vad_kwargs={'max_single_segment_time': 30000}, device='cpu')

vad_segs = vad_model.generate(input=wav)[0].get('value', [])
res = model.generate(input=wav, cache={}, language='zh', use_itn=True,
                     batch_size_s=60, merge_vad=True)

texts = [rich_transcription_postprocess(s).strip()
         for s in re.split(r'<|zh|>', res[0]['text']) if s.strip()]
texts = [s for s in texts if len(s) > 1]

ratio = len(vad_segs) / len(texts) if texts else 1
for i, t in enumerate(texts):
    vi = min(int(i * ratio), len(vad_segs)-1)
    ts = (start_dt + timedelta(milliseconds=vad_segs[vi][0])).strftime('%H:%M:%S') if start_dt else f'{vad_segs[vi][0]//1000:.0f}s'
    print(f'[{ts}] {t}')
"

批量模式（daylog）

配套脚本 scripts/batch_transcribe.py 实现完整的 daylog 转录流水线：

source ~/.openclaw/venvs/sensevoice/bin/activate
cd ~/Documents/dec/daylog

# 预演模式 — 查看将被转录的文件列表
python3 scripts/batch_transcribe.py --dry-run

# 转录所有新增文件
python3 scripts/batch_transcribe.py

# 强制重转指定日期（先删除已有结果，再重新运行）
python3 scripts/batch_transcribe.py --force-dates 2026-03-07,2026-03-08

# 启用进度文件 + Discord Webhook 通知
python3 scripts/batch_transcribe.py 
  --progress-file /tmp/daylog-progress.json 
  --discord-webhook https://discord.com/api/webhooks/...

命令行参数说明：

目录结构：

daylog/
├── raw/                          # WAV 输入源（DJI MIC 3，48kHz/32bit，约 247MB/30min）
│   ├── TX01_MIC009_20260308_094129_orig.wav
│   └── ...
├── transcripts/                  # 输出目录，按日期分组
│   └── 2026-03-08/
│       ├── 000_TX01_MIC009_20260308_094129_orig.txt
│       └── ...
└── notes/                        # 汇总后的每日笔记（独立步骤生成）
    └── 2026-03-08.md

行为说明：

• 根据文件名中的日期（YYYYMMDD）对 WAV 文件分组
• 在每个日期内按时间戳排序，确保严格的时间顺序
• 跳过已转录的文件，除非显式指定 --force-dates
• 输出文件名添加序号前缀（000_、001_…），保障字典序即时间序
• 每完成 25% 进度向 Discord 发送一次里程碑通知

输出格式示例

[录音开始: 09:41:29]
[09:41:35] 到了，我们下车吧。
[09:41:48] 武康大楼，人好多啊。
[09:42:04] 你帮我在这里拍一张。
...

性能表现（Apple M4，10 核 CPU）

与旧 Whisper 技能对比

关于表情符号的说明

SenseVoice 会在文本片段末尾附加情绪标签（如 😊😔😡😮）。这些是模型自身输出产物，反映其检测到的语音情绪倾向，并非音频中实际存在的表情符号。下游处理环节（如笔记汇总）应忽略或主动剥离此类标签。