实时捕获容器异常退出需建立“状态监听+退出码解析+自动响应”机制，利用docker events监听die/oom事件，结合inspect获取exitcode和oomkilled标志判断原因，并通过脚本实现秒级响应；k8s中则用kubectl events或prometheus监控对应指标。
实时捕获容器异常退出事件，核心是建立“状态监听 + 退出码解析 + 自动响应”三位一体机制，不依赖轮询，而是利用容器运行时原生事件流。
使用 docker events 监听退出事件
Docker 守护进程提供实时事件流接口，可精准捕获 stop、die、oom 等关键事件：
- die：容器主进程终止（无论正常或异常），是捕获退出最直接的信号
- oom：内核触发 OOM Killer 的明确标志，配合 ExitCode 137 可快速确认内存问题
- kill：记录 SIGKILL/SIGTERM 发送动作，辅助判断是否人为干预
执行以下命令即可持续监听最近1小时内所有退出相关事件：
docker events --since '1h' --filter event=die --filter event=oom --format 'Time: {{.Time}} | Container: {{.Actor.Attributes.name}} | Status: {{.Status}} | ExitCode: {{.Actor.Attributes.exitCode}}'
结合 inspect 提取退出详情
仅靠事件不够，需在事件触发后立即获取完整退出上下文：
- 用
docker inspect <container_id> --format='{{.State.ExitCode}} {{.State.OOMKilled}} {{.State.FinishedAt}}'</container_id>获取退出码、OOM 标志和终止时间 - ExitCode 为 137 且 OOMKilled=true → 内存超限
- ExitCode 为 143 且 OOMKilled=false → 正常收到 SIGTERM（如 docker stop）
- ExitCode 为 1 或其他非零值（0–128）→ 应用自身逻辑错误或启动失败
自动化脚本实现秒级响应
将事件监听与诊断逻辑封装为守护脚本，无需外部调度器：
- 用
docker events长连接输出到管道，配合awk或 Python 实时过滤 die/oom 事件 - 匹配到事件后，自动调用
docker inspect和docker logs --tail 100抓取现场信息 - 根据 ExitCode 分类触发不同动作：发告警（137）、保存日志快照（1）、重启容器（仅限非OOM场景）
示例关键逻辑（Bash）：
docker events --filter event=die --format '{{.ID}}' | while read id; do
code=$(docker inspect "$id" --format='{{.State.ExitCode}}')
oom=$(docker inspect "$id" --format='{{.State.OOMKilled}}')
if [[ "$code" == "137" && "$oom" == "true" ]]; then
echo "$(date): $id OOMKilled" | logger -t docker-monitor
fi
done
Kubernetes 环境等效方案
在 K8s 中，使用 kubectl get events --watch 或监听 Pod 事件更可靠：
- 关注 OOMKilled、BackOff、Failed 类型事件
- 用
kubectl describe pod <pod></pod>查看 Last State → Exit Code 和 Reason 字段 - 集成 Prometheus + kube-state-metrics，监控
kube_pod_container_status_terminated_reason指标，实现可视化告警
