需将kaldi语音识别模块深度集成至hermes agent：一、确保wsl2环境兼容并安装编译依赖；二、源码编译cpu-only kaldi；三、部署aishell-1链式模型与中文lm；四、封装为子进程服务并通过stdin/stdout通信；五、标准化音频格式为16khz单声道wav。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您希望在Hermes Agent中实现本地化、低延迟、高可控性的语音识别能力，需将Kaldi语音识别模块与其运行时环境进行深度集成。以下是完成该集成的具体操作路径：
一、确认Hermes Agent运行环境兼容性
Kaldi依赖Linux内核特性与POSIX标准工具链，而Hermes Agent默认在WSL2环境下部署，因此必须确保WSL2发行版（如Ubuntu 22.04 LTS）已启用完整编译工具集，并禁用systemd冲突服务。该步骤旨在为Kaldi提供稳定、无干扰的底层执行环境。
1、检查WSL2内核版本是否≥5.10：wsl -l -v，若版本过低则执行wsl --update。
2、在WSL2中安装基础编译依赖：sudo apt update && sudo apt install -y build-essential autoconf automake libtool g++ python3-pip。
3、验证PortAudio是否可用：apt list --installed | grep portaudio；若未安装，运行sudo apt install portaudio19-dev。
二、编译并安装Kaldi核心组件
Kaldi不提供预编译二进制包，必须源码编译以适配Hermes Agent所用的Python版本及CPU指令集（如AVX2）。编译过程需跳过GPU依赖项，聚焦于CPU-only声学解码器构建，确保与Hermes Agent轻量级进程模型兼容。
1、克隆Kaldi官方仓库至~/kaldi目录：git clone https://github.com/kaldi-asr/kaldi.git ~/kaldi。
2、进入tools目录并运行依赖安装脚本：cd ~/kaldi/tools && make -j$(nproc)，期间忽略OpenFST GPU警告。
3、进入src目录启用CPU优化编译：cd ../src && ./configure --use-cuda=no --static --mathlib=ATLAS。
4、执行完整编译：make depend -j$(nproc) && make -j$(nproc)；成功后确认./decoder/online2-wav-nnet3-latgen-faster可执行。
三、构建轻量级中文语音识别流水线
Hermes Agent无需完整训练流程，仅需部署已训练好的声学模型与语言模型组合。推荐采用aishell-1预训练chain模型+小规模通用中文LM，兼顾识别精度与内存占用（模型总大小控制在380MB以内）。
1、下载预训练模型包：wget https://kaldi-asr.org/models/m/mono_aishell_chain.tar.gz，解压至~/kaldi/egs/aishell/s5/exp/。
2、准备发音词典与语言模型FST：utils/prepare_lang.sh data/local/dict '
3、生成在线解码配置文件online.conf，关键参数设置为：--online=false --do-endpointing=false --max-active=7000，避免实时流式处理带来的线程阻塞。
四、封装Kaldi为Hermes Agent可调用子进程服务
为避免Python GIL限制与内存泄漏风险，Kaldi应以独立子进程方式运行，通过stdin/stdout与Hermes Agent主进程交换WAV音频数据与识别文本。该方式不修改Hermes Agent原有架构，仅新增一个轻量级IPC桥接模块。
1、编写Python封装脚本kaldi_asr_wrapper.py，使用subprocess.Popen启动online2-wav-nnet3-latgen-faster，并设置bufsize=0启用行缓冲。
2、定义输入协议：每次向stdin写入WAV头+16kHz单声道PCM数据（格式为RIFF/WAVE，位深16bit），长度不超过30秒。
3、解析stdout输出：逐行读取Kaldi日志，提取utt_id后紧跟的hyp:行内容，过滤掉LOG与WARNING前缀行。
4、在Hermes Agent配置中注册新技能：asr_kaldi_cpu，其执行命令指向该封装脚本，并设定超时阈值为45秒。
五、音频采集与格式标准化适配
Hermes Agent默认接收HTTP上传或麦克风WebRTC流，但Kaldi仅接受标准WAV文件。因此必须在音频接入层插入格式转换与采样率对齐环节，确保输入数据满足Kaldi特征提取模块的硬性要求。
1、对WebRTC音频流，在前端JavaScript中调用MediaRecorder并强制设置options = {mimeType: 'audio/wav'}，同时监听ondataavailable事件捕获原始WAV Blob。
2、服务端收到WAV后，使用sox进行无损重采样：sox input.wav -r 16000 -c 1 -b 16 output.wav，消除声道数与采样率偏差。
3、校验WAV文件头有效性：读取前44字节，确认fmt 块中samples per second字段值为16000，且bits per sample为16，否则拒绝处理并返回错误码ASR_INPUT_INVALID_HEADER。
