hermes agent告警需配置prometheus规则与alertmanager通知：一、定义alert-rules.yml并加载至prometheus.yml；二、设gpu缓存超90%持续5分钟触发critical告警；三、错误率>5%持续2分钟告警；四、首token p99>2秒持续5分钟warning告警；五、通过slack bot集成推送通知。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果您已部署Hermes Agent并启用了Prometheus指标采集，但尚未配置触发条件与通知响应机制，则可能是由于告警规则未定义或Alertmanager未正确关联。以下是为Hermes Agent设置告警规则的具体步骤：
一、基于Prometheus Alertmanager配置核心告警规则
Alertmanager是独立于Prometheus的告警路由与去重组件，需通过YAML文件定义告警逻辑，并与Hermes Agent暴露的指标（如vllm_request_failure_total、vllm_time_to_first_token_seconds_bucket）建立匹配关系。规则生效前需确保Prometheus已将目标抓取配置指向Hermes Agent的/metrics端点（默认localhost:9090）。
1、创建alert-rules.yml文件，写入以下内容：
2、在prometheus.yml中添加rule_files字段，引用该文件路径：
3、重启Prometheus服务使规则加载生效：
4、访问Prometheus Web UI的“Alerts”页面，确认规则状态为“inactive”或“firing”。
二、配置GPU资源超限告警
GPU内存使用率过高将直接导致推理任务排队或OOM失败，需对vllm_gpu_cache_usage_perc指标设置硬性阈值。该指标为百分比浮点数，取值范围0–100，建议在持续5分钟内超过90%即触发告警。
1、在alert-rules.yml的groups列表中新增规则块：
2、设置告警表达式为：vllm_gpu_cache_usage_perc > 90
3、添加for子句指定持续时长：for: 5m
4、为该规则添加severity: critical标签及对应annotations描述。
三、配置请求错误率突增告警
请求失败率反映服务可用性健康度，应基于rate函数计算滑动窗口内的失败比例。若vllm_request_failure_total在5分钟内增长率超过阈值，说明存在批量调用异常或下游依赖故障。
1、使用PromQL验证当前错误率：rate(vllm_request_failure_total[5m])
2、设定告警阈值为0.05（即5%），表达式为：rate(vllm_request_failure_total[5m]) > 0.05
3、设置持续观察时间：for: 2m
4、在rules块中绑定summary与description模板，确保告警信息包含具体数值。
四、配置首Token延迟P99超时告警
首Token响应时间P99体现尾部延迟水平，直接影响用户感知。当histogram_quantile(0.99, vllm_time_to_first_token_seconds_bucket)持续超过2秒，表明模型推理链路中存在显著瓶颈，如GPU调度阻塞或KV缓存碎片化。
1、确认vllm_time_to_first_token_seconds_bucket指标已在/metrics端点暴露
2、编写告警表达式：histogram_quantile(0.99, vllm_time_to_first_token_seconds_bucket) > 2
3、设置触发持续时间：for: 5m
4、将此规则归类至warning级别，并在annotations中嵌入{{ $value }}动态渲染实际P99值。
五、启用Slack渠道推送告警通知
Alertmanager本身不发送消息，需通过webhook或集成适配器对接外部通知系统。Slack需预先创建Bot并获取令牌，再由Alertmanager调用其Web API转发结构化告警数据。
1、在Slack管理后台创建新App，启用Bot Token Scopes中的chat:write与channels:read权限
2、获取SLACK_BOT_TOKEN与SLACK_APP_TOKEN，并写入Alertmanager配置环境变量
3、修改alertmanager.yml，在receivers下添加slack_configs区块，指定channel为#hermes-alerts
4、配置routes规则，将hermes_agent_alerts组路由至该receiver。
