Grok-1监控落地需三步：一启用/metrics端点（加--metrics-enabled=true），二配置Prometheus抓取（含grokai与nvidia-dcgm任务），三在Grafana导入ID18608仪表盘并设P95延迟与GPU显存告警。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
如果你已部署Grok-1分布式AI模型，但GPU显存持续飙高、推理延迟突然翻倍、专家模型调用频繁失败却毫无感知，说明监控仪表盘尚未真正落地——指标暴露、采集、可视化三个环节中至少有一处断开。
启用Grok-1服务的/metrics端点
第一步：确认服务启动时已开启指标导出功能。在Grok-1服务的启动命令中，必须包含 【--metrics-enabled=true】 参数，否则/metrics路径将返回404，后续所有监控步骤均失效。
第二步：检查HTTP服务端口（如8000）是否对外暴露，并能直接访问 http://grokai-service:8000/metrics。返回内容应为纯文本格式的Prometheus指标，包含 gpu_memory_used_bytes、inference_latency_seconds、expert_call_count 等关键行；若返回空页或HTML错误页，说明服务未正确加载指标中间件。
这一步操作起来很简单，直接curl测试即可，但必须在部署后立即验证，不能等到故障发生才补。
配置Prometheus抓取Grok-1指标
方法一：修改 prometheus.yml 文件，在 scrape_configs 段落末尾新增以下任务：
- job_name: 'grokai'
static_configs:
- targets: ['grokai-service:8000']
方法二：若Grok-1与GPU指标需统一采集，还需额外添加NVIDIA DCGM Exporter任务：
- job_name: 'nvidia-dcgm'
static_configs:
- targets: ['nvidia-docker-host:9100']
【targets地址必须使用容器网络可解析的名称或宿主机IP，不能填localhost】，否则Prometheus因网络不可达而持续显示“down”状态。
在Grafana中接入Prometheus并导入仪表盘
① 打开Grafana Web界面（默认 http://your-ip:3000），用admin/admin登录并修改初始密码。
② 点击左上角齿轮图标 → 「Data Sources」→ 「Add data source」→ 选择 Prometheus。
③ 在URL栏填写Prometheus服务地址，例如 http://prometheus:9090（Docker容器间通信）或 http://192.168.1.139:9090（物理机直连）。
④ 点击「Save & test」，看到绿色提示「Data source is working」才算成功。
⑤ 返回首页 → 「+」→ 「Import」→ 在「Import via grafana.com」框中输入模板ID 【18608】 → 点击Load → 选择刚配置好的Prometheus数据源 → Import。
手动创建关键指标面板
新建Dashboard → 点击「Add new panel」→ 在Query字段输入：
gpu_memory_used_bytes / gpu_memory_total_bytes * 100
设置图例为「GPU显存使用率(%)」，图表类型选「Gauge」，阈值设为 85/95/100 —— 超过85%即开始变黄，95%变红，这是防止OOM的关键红线。
再建一个面板，Query写：
histogram_quantile(0.95, rate(inference_latency_seconds_bucket[5m]))
标题写「P95推理延迟(s)」，图表类型选「Stat」，单位设为 seconds。这个值若持续超过2.5秒，说明模型调度或GPU计算已出现瓶颈。
注意：不要直接用 avg_over_time(inference_latency_seconds[5m])，它会掩盖长尾延迟，导致误判。
配置实时告警规则
进入Grafana左侧菜单「Alerting」→ 「Alert rules」→ 「New alert rule」：
规则名称填「Grok-1 P95延迟超限」；
Expression填：
histogram_quantile(0.95, rate(inference_latency_seconds_bucket[5m])) > 2.5
评估频率设为「1m」，持续时间选「3m」；
通知渠道选择Email或Webhook，目标地址填运维邮箱或企业微信机器人URL。
【告警条件必须绑定quantile="0.95"而非avg，否则单次毛刺就会触发误报】。
