音频处理技能

一套功能完备的音频处理与分析工具集，内置安全校验机制。

安全性

• 对文件路径进行校验，防止路径遍历攻击
• 禁止访问系统目录（如 /etc、/proc、/sys、/root）
• TTS 文本输入长度限制为 10,000 字符
• 所有文件操作均使用解析后的绝对路径

工具 API

audio_tool

执行语音转文字、文本转语音、特征提取等音频操作。

• 参数：
  • action（字符串，必需）：取值为 transcribe、tts、extract_features、vad_segments 或 transform 之一。
  • file_path（字符串，可选）：输入音频文件路径。
  • text（字符串，可选）：用于 TTS 的文本（最多 10,000 字符）。
  • output_path（字符串，可选）：输出文件路径（默认自动生成）。
  • model（字符串，可选）：Whisper 模型尺寸（tiny、base、small、medium、large），默认为 base。
  • ops（字符串，可选）：JSON 格式的操作列表字符串，仅在 transform 动作中使用。

用法示例：

# 转录音频文件
uv run --with "openai-whisper" --with "pydub" --with "numpy" skills/audio-processing/tool.py transcribe --file_path input.wav

# 使用指定模型进行转录
uv run --with "openai-whisper" skills/audio-processing/tool.py transcribe --file_path input.wav --model small

# 文本转语音
uv run --with "gTTS" skills/audio-processing/tool.py tts --text "Hello world" --output_path hello.mp3

# 提取音频特征
uv run --with "librosa" --with "numpy" --with "soundfile" skills/audio-processing/tool.py extract_features --file_path input.wav

# 语音活动检测（识别语音片段）
uv run --with "pydub" skills/audio-processing/tool.py vad_segments --file_path input.wav

# 音频变换（裁剪、重采样、归一化）
uv run --with "pydub" skills/audio-processing/tool.py transform --file_path input.wav --ops '[{"op": "trim", "start": 10, "end": 30}, {"op": "normalize"}]'

操作类型

transcribe

使用 OpenAI Whisper 将语音转换为文本。

• 返回值：{ "text": "...", "segments": [...] }
• 支持模型：tiny、base、small、medium、large（越大越准确，但速度越慢）

tts

使用 Google TTS 将文本合成为语音。

• 返回值：{ "file_path": "output.mp3", "status": "created" }
• 语言：英语（默认）

extract_features

提取用于分析的音频特征。

• 返回值：时长（duration）、采样率（sample_rate）、MFCC 均值（mfcc_mean）、RMS 均值（rms_mean）
• 适用于音频分类、音质分析等场景

vad_segments

基于静音检测识别语音片段。

• 返回值：{ "segments": [{ "start": 0.5, "end": 3.2 }, ...] }
• 底层使用 FFmpeg 的 silencedetect 滤镜
• 检测灵敏度：1–3（默认为 2）

transform

对音频文件执行变换操作。

• 支持操作：裁剪（trim）、重采样（resample）、归一化（normalize）
• 返回值：{ "file_path": "output.wav" }

依赖要求

• ffmpeg： VAD 和 transform 操作必需
• Python 3.8+： 所有操作均需此版本或更高版本
• 磁盘空间： Whisper 模型体积范围为 100MB（tiny）至 3GB（large）

错误处理

• 失败时返回 JSON 格式的错误对象
• 在处理前对所有文件路径进行校验
• 对缺失依赖项进行优雅降级处理