使用 mlx-audio 为 OpenClaw 实现本地 TTS/STT 集成 —— 零 API 密钥,零云依赖
OpenClaw MLX Audio是一项面向实际任务的技能,主要用于本地支持多语言文本转语音 (TTS) 和语音转文本 (STT),完全在 Apple Silicon 设备上运行,无需云服务,保护数据隐私;🗣️ TTS 文本转语音 : 支持中文、英文等多种语言;
TTS 命令。它将相关步骤、工具调用和结果整理方式集中到统一流程中,帮助使用者更快完成目标并减少重复操作。从功能定位来看,该技能强调把分散的操作要求整理成清晰、可复用的处理流程,使用户能够围绕既定目标快速准备输入、选择执行方式并获得结构化结果。实际使用前应先确认任务范围、数据来源、运行环境、必要权限和关键参数,再依据技能说明逐步执行;
若输入条件不完整,应先补齐信息或采用保守配置,避免因错误假设导致结果偏离需求。执行过程中需要关注工具调用是否成功、接口或依赖是否可用、输出格式是否符合预期,并对异常提示、缺失字段和边界情况进行处理;涉及批量任务时,还应保存进度,避免中断后重复操作。该技能适合用于一次性任务,也可以接入自动化工作流,与其他技能或上层代理配合完成更完整的业务链路;在组合使用时,应明确每一步的输入输出关系,并避免不同步骤之间出现参数冲突。
本地支持多语言文本转语音 (TTS) 和语音转文本 (STT),完全在 Apple Silicon 设备上运行,无需云服务,保护数据隐私。
# 安装依赖 brew install ffmpeg uv uv tool install mlx-audio --prerelease=allow # 安装插件 cp -r openclaw-mlx-audio ~/.openclaw/extensions/ # 重启 OpenClaw openclaw gateway restart
# 状态查询 / mlx-tts status # 测试生成 / mlx-tts test "你好,这是测试语音" # 模型列表 / mlx-tts models
# 状态查询 / mlx-stt status # 转录音频 / mlx-stt transcribe /path/to/audio.wav # 模型列表 / mlx-stt models
TTS:
{
"tool": "mlx_tts",
"parameters": {
"action": "generate",
"text": "Hello World",
"outputPath": "/tmp/speech.mp3"
}
}
STT:
{
"tool": "mlx_stt",
"parameters": {
"action": "transcribe",
"audioPath": "/tmp/audio.wav",
"language": "zh"
}
}
| 模型 | 语言 | 速度 | 质量 |
|---|---|---|---|
| mlx-community/Kokoro-82M-bf16 | 8+ | ⚡⚡⚡ | Good |
| mlx-community/Qwen3-TTS-12Hz-0.6B-Base-bf16 | ZH/EN/JA/KO | ⚡⚡ | Better |
| mlx-community/Qwen3-TTS-12Hz-1.7B-VoiceDesign-bf16 | ZH/EN/JA/KO | ⚡ | Best |
| 模型 | 语言 | 速度 | 精度 |
|---|---|---|---|
| mlx-community/whisper-large-v3-turbo-asr-fp16 | 99+ | ⚡⚡⚡ | Good |
| mlx-community/Qwen3-ASR-1.7B-8bit | ZH/EN/JA/KO | ⚡⚡ | Better |
| mlx-community/whisper-large-v3 | 99+ | ⚡⚡ | Best |
自动化测试: 17 项 (100% 通过) 真人测试: 11 项 Discord 测试 总体评分: ⭐⭐⭐⭐ (3.85/5.0)
运行测试:
bash test/run_tests.sh
在 openclaw.json 中添加:
{
"plugins": {
"allow": ["@openclaw/mlx-audio"],
"entries": {
"@openclaw/mlx-audio": {
"enabled": true,
"config": {
"tts": {
"enabled": true,
"model": "mlx-community/Qwen3-TTS-12Hz-0.6B-Base-bf16",
"langCode": "zh"
},
"stt": {
"enabled": true,
"model": "mlx-community/Qwen3-ASR-1.7B-8bit",
"language": "zh"
}
}
}
}
}
}
MIT
相关专题
热门下载
相关下载
精品课程
共1课时 | 164人学习
共0课时 | 0人学习
共1课时 | 205人学习
最新文章