AWS ECS Monitor

面向 AWS ECS 服务的生产环境健康监控与日志分析工具。

功能说明

• 健康检查：对指定域名执行 HTTP 探针检测；检查 ECS 服务状态（期望任务数 vs 运行中任务数）；检查 ALB 目标组健康状态；检查 SSL 证书过期时间
• 日志分析：拉取 CloudWatch 日志，自动归类错误类型（panic、fatal、OOM、timeout、5xx）、检测容器重启事件，并过滤健康检查产生的噪声日志（如 ALB 发起的 /health 请求）
• 自动诊断：读取健康状态，对异常服务自动触发日志分析流程进行深入排查

前置依赖

• aws CLI 已配置并具备以下 IAM 权限：
  • ecs:ListServices、ecs:DescribeServices
  • elasticloadbalancing:DescribeTargetGroups、elasticloadbalancing:DescribeTargetHealth
  • logs:FilterLogEvents、logs:DescribeLogGroups
• curl：用于执行 HTTP 健康检查
• python3：用于 JSON 解析与日志分析逻辑
• openssl：用于 SSL 证书检查（可选）

配置方式

所有配置均通过环境变量完成：

写入的目录与文件

• ECS_HEALTH_STATE（默认：./data/ecs-health.json）—— 健康状态 JSON 文件
• ECS_HEALTH_OUTDIR（默认：./data/）—— 日志、告警及分析报告的输出目录

脚本说明

scripts/ecs-health.sh — 健康监控主脚本

# 完整健康检查
ECS_CLUSTER=my-cluster ECS_DOMAIN=example.com ./scripts/ecs-health.sh

# 仅输出 JSON 格式结果
ECS_CLUSTER=my-cluster ./scripts/ecs-health.sh --json

# 静默模式（不触发告警，仅更新状态文件）
ECS_CLUSTER=my-cluster ./scripts/ecs-health.sh --quiet

退出码含义：0 = 健康正常，1 = 异常或降级，2 = 脚本执行错误

scripts/cloudwatch-logs.sh — 日志分析器

# 拉取某服务的原始日志
ECS_CLUSTER=my-cluster ./scripts/cloudwatch-logs.sh pull my-api --minutes 30

# 显示所有服务在指定时间窗口内的错误汇总
ECS_CLUSTER=my-cluster ./scripts/cloudwatch-logs.sh errors all --minutes 120

# 执行深度分析，包含错误分类统计
ECS_CLUSTER=my-cluster ./scripts/cloudwatch-logs.sh diagnose --minutes 60

# 检测容器重启事件
ECS_CLUSTER=my-cluster ./scripts/cloudwatch-logs.sh restarts my-api

# 基于健康状态文件自动触发诊断
ECS_CLUSTER=my-cluster ./scripts/cloudwatch-logs.sh auto-diagnose

# 输出所有服务的综合摘要
ECS_CLUSTER=my-cluster ./scripts/cloudwatch-logs.sh summary --minutes 120

支持选项：--minutes N（默认：60），--json，--limit N（默认：200），--verbose

自动发现机制

当未设置 ECS_SERVICES 时，两个脚本均会从集群中自动发现服务列表：

aws ecs list-services --cluster $ECS_CLUSTER

日志组名称通过模式匹配解析（默认为 /ecs/{service}）。可通过 ECS_LOG_PATTERN 覆盖该模式：

# 若您的日志组路径为 /ecs/prod/my-api、/ecs/prod/my-frontend 等
ECS_LOG_PATTERN="/ecs/prod/{service}" ECS_CLUSTER=my-cluster ./scripts/cloudwatch-logs.sh diagnose

集成方式

健康监控脚本在检测到异常时，可自动触发日志分析器执行自动诊断。请将 ECS_HEALTH_OUTDIR 设为共享目录，并协同运行两个脚本：

export ECS_CLUSTER=my-cluster
export ECS_DOMAIN=example.com
export ECS_HEALTH_OUTDIR=./data

# 运行健康检查（失败时自动触发日志分析）
./scripts/ecs-health.sh

# 或独立运行日志分析
./scripts/cloudwatch-logs.sh auto-diagnose --minutes 30

错误分类标准

日志分析器将错误归类为以下类型：

• panic — Go panic
• fatal — 致命错误
• oom — 内存不足（Out of Memory）
• timeout — 连接或请求超时
• connection_error — 连接被拒绝/重置
• http_5xx — HTTP 500 级别响应
• python_traceback — Python traceback
• exception — 通用异常
• auth_error — 权限/鉴权失败
• structured_error — JSON 结构化错误日志
• error — 通用 ERROR 级别日志消息

健康检查产生的噪声（例如 ALB 发起的 GET/HEAD /health 请求）会自动从错误计数与 HTTP 状态分布统计中排除。