容器生命周期监控核心是将Created、Running、Paused、Stopped、Restarted、Dead六大状态转化为可观测、可触发、可联动的支点，通过状态转换捕获“何时变、为何变”，结合docker events轻量采集、指标日志追踪三通道对齐及自动化响应策略，实现从感知到处置的闭环。
直接用容器生命周期图谱驱动监控体系，关键不是画状态图，而是把每个状态节点变成可观测、可触发、可联动的监控支点。核心思路是：状态即指标，事件即信号，转换即告警。
从六大状态提取可监控信号
容器生命周期的 Created、Running、Paused、Stopped、Restarted、Dead 六个状态，本身就能生成结构化事件流。重点不是记录“当前是什么状态”，而是捕获“状态何时变化”以及“为何变化”：
- Created → Running：记录启动耗时、镜像拉取时间、初始化命令执行时长；若超时未进入 Running，触发“启动卡死”告警
- Running → Paused：非人工操作的 pause 需立即告警（可能被误操作或资源冻结）
- Running → Stopped：检查 exit_code 和 OOMKilled 字段；exit_code=137 基本指向内存溢出，exit_code=143 对应 SIGTERM 正常退出，其他值需归类分析
- Stopped → Restarted：统计 5 分钟内重启次数，连续 3 次自动重启即标记为“不稳定容器”，推送至故障看板
- Running → Dead：结合 cAdvisor 的 container_last_seen_timestamp 判断是否短命容器（存活＜10 秒），这类容器日志必须强制落盘并打标 “ephemeral”
用 docker events + 标签实现轻量级闭环
不依赖外部编排系统，仅靠原生 Docker API 就能构建响应式监控链：
- 运行 docker events --filter 'event=start' --filter 'event=die' --filter 'event=kill' --format '{{json .}}' 实时监听全量事件
- 只对带 monitoring=enabled 或 env=prod 标签的容器启用采集逻辑，避免测试容器干扰指标基线
- 事件到达后，立刻调用 docker inspect --format='{{.State.Status}} {{.NetworkSettings.IPAddress}}' 补充上下文，并将结构化数据推送到 Prometheus Pushgateway
- 例如：一个容器 die 事件触发后，自动写入指标 container_exit_total{container="api-gateway",exit_code="137",oomkilled="true"}，供 Grafana 绘制“异常退出热力图”
指标、日志、追踪三通道对齐生命周期
单看状态不够，必须让指标、日志、链路数据在时间与容器维度上严格对齐：
- 在容器启动时，通过 --label trace_id=$(uuidgen) 注入唯一 trace 标识，该 ID 同时注入到应用日志前缀、Prometheus metrics label、SkyWalking agent 配置中
- 日志采集器（如 Promtail）按容器 label 自动打标：job="docker-logs", container_name="{{.Name}}", service="{{index .Labels "com.docker.compose.service"}}"
- Prometheus 抓取 cAdvisor 数据时，启用 docker_sd_configs 并配置 relabel_configs，把容器 label 映射为指标 label，确保 container_cpu_usage_seconds_total{service="auth-service"} 能与同名服务的日志、链路数据交叉下钻
- Grafana 中配置变量 container_name，其查询来源为 label_values(container_cpu_usage_seconds_total, container)，保证所有面板共享同一容器维度
基于状态转换的自动化响应策略
监控不止于“看见”，更要“行动”。把常见状态异常路径固化为可执行策略：
- 检测到某容器在 2 分钟内经历 Running → Stopped → Created → Running 循环，自动执行 docker exec -it $CONTAINER curl -s http://localhost:8080/actuator/health 验证健康端点
- 发现容器处于 Paused 状态超过 60 秒，且无用户操作记录，自动发送 SIGCONT 并记录 audit log
- Stopped 状态容器若存在未挂载卷（docker inspect | jq '.Mounts[]? | select(.Type=="volume")' 为空），触发清理提醒并标注“数据风险”
- 对持续 Running 超过 30 天的容器，自动检查其镜像 digest 是否仍匹配 registry 最新版本，防止长期运行陈旧镜像
