若日志波动、错误突增或指标失真，可能是异常检测算法未正确集成；需验证terminalbench2_env.py中超时判断逻辑、运行test_timeout_detection测试并检查success_rate断言是否通过。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您在运行Hermes Agent过程中发现日志数据出现偏离预期的波动、错误频次突增或关键指标失真，则可能是由于底层异常检测算法未正确集成或配置失效。以下是针对Algorithm集成层面开展实战验证与修复的步骤：
一、验证统计异常检测模块是否启用
该模块基于滑动窗口与Z-score离群点检测，用于识别成功率骤降、调用延迟飙升等数值型异常。其有效性依赖于terminalbench2_env.py中超时监控逻辑与日志采集链路的完整对接。
1、检查environments/benchmarks/terminalbench_2/terminalbench2_env.py文件是否存在超时判断分支，确认包含类似if elapsed > timeout_threshold:的逻辑块。
2、运行基准测试脚本：python -m pytest environments/benchmarks/terminalbench_2/ -v -k "test_timeout_detection"。
3、查看输出中是否出现assert success_rate 类断言失败提示；若无任何异常触发记录，说明统计检测路径未激活。
二、校验特征工程层输入完整性
特征工程层需从原始日志中提取统计特征（如执行时长方差）、文本特征（如错误关键词嵌入）以支撑后续模型判别。若预处理阶段丢失关键字段，将导致特征向量稀疏或语义失真。
1、定位tools/terminal_tool.py中的日志捕获函数，确认返回字典包含"duration_ms"、"error_type"、"command_hash"三项必填字段。
2、执行结构化转换验证命令：python -c "from tools.terminal_tool import parse_log_line; print(parse_log_line('ERROR 12345 cmd: rm -rf / failed: Permission denied'))"。
3、比对输出是否含duration_ms（非None）、error_type为"PermissionDenied"、command_hash为32位十六进制字符串。
三、切换并测试多算法融合策略
Hermes Agent支持统计方法、轻量级分类器与时序建模三种异常检测路径并行运行，通过加权投票机制输出最终判定结果。单一算法失效时，其余路径仍可维持基础检测能力。
1、编辑配置文件cli-config.yaml，在detection_strategies节点下显式声明启用项：- statistical、- lightgbm、- lstm_seq2seq。
2、启动带调试日志的Agent实例：hermes run --log-level debug --config cli-config.yaml。
3、注入模拟异常日志：echo '{"timestamp":"2026-04-20T00:00:00Z","error_type":"OSError","duration_ms":12800}' | nc localhost 8080。
4、观察控制台输出是否同时出现[STAT] outlier_score=3.82、[LGBM] prob_anomaly=0.91、[LSTM] recon_error=0.76三类标记。
四、重载自定义异常规则引擎
当标准算法无法覆盖特定业务语义（如“连续三次ConnectionRefusedError即视为服务宕机”），需通过规则引擎注入领域知识。该引擎由skills/rule_engine/目录下的Python模块驱动，支持YAML格式热加载。
1、创建规则定义文件skills/rule_engine/connection_failure_rule.yaml，内容包含trigger_pattern: "ConnectionRefusedError"与min_occurrence: 3字段。
2、执行技能注册命令：hermes skills install rule_engine --force-reload。
3、触发规则验证流程：python -m skills.rule_engine.test_runner --rule-file connection_failure_rule.yaml。
4、确认终端输出中<strong><font color="green">Rule 'connection_failure_rule' loaded and matched 3 times</font></strong>字样出现。
五、回放历史日志流进行端到端检测验证
为验证整个Algorithm集成链路在真实场景下的鲁棒性，需使用生产环境导出的日志片段进行离线回放测试。该过程绕过网络传输与实时采集环节，直接检验特征提取→算法推理→结果聚合全流程。
1、准备JSON Lines格式日志样本data/test_logs.jsonl，确保每行含timestamp、level、message、task_id字段。
2、执行离线分析命令：hermes tool run anomaly_replay --input data/test_logs.jsonl --output reports/anomaly_report.html。
3、打开生成报告文件，检查Anomaly Count by Algorithm表格中各列数值是否非零，且Consensus Flag列存在至少5条True标记记录。
4、在报告底部Top 3 High-Confidence Anomalies区块中，确认每条记录均附带<strong><font color="green">statistical + lightgbm + lstm_seq2seq</font></strong>三重置信标识。
