preStop Hook 必须配合 readiness probe 失败逻辑,单纯添加 preStop 无法解决长连接场景下的流量残留问题;Kubernetes 的 Service 和 Ingress 依赖 readinessProbe 状态更新后端列表,若 probe 仍成功,新请求仍会被转发;Go 应用需在收到 SIGTERM 后立即将 /readyz 返回 503,同时保持 /healthz 可用。

preStop Hook 必须配合 readiness probe 失败逻辑
单纯加 preStop 无法解决长连接场景下的流量残留问题。Kubernetes 的 Service 和 Ingress(如 ALB、NLB)依赖 readinessProbe 状态来更新 Endpoints 或后端服务器组。如果 probe 仍返回成功,即使容器已收到 SIGTERM,新请求或重试请求仍可能被转发进来。
Go 应用需主动控制 readiness 状态:在收到 SIGTERM 后立即将 /readyz 返回 503,同时保持 /healthz 可用(避免被误判为崩溃)。示例逻辑:
var isReady = true
func readyz(w http.ResponseWriter, r *http.Request) {
if !isReady {
http.Error(w, "Not ready", http.StatusServiceUnavailable)
return
}
w.WriteHeader(http.StatusOK)
}
// 收到 SIGTERM 时:
signal.Notify(sigChan, syscall.SIGTERM)
go func() {
-
failureThreshold: 1是关键,确保 probe 第一次失败就触发 Endpoint 移除 - ALB Ingress Controller 调谐周期通常为 5–10 秒,
periodSeconds: 5能在 5 秒内完成摘流 - 不要依赖
livenessProbe控制摘流——它只影响重启,不触发服务剔除
Go 服务必须实现连接排空(drain),不能只关 listener
gRPC 或 HTTP/2 长连接场景下,“关闭 listener”只是停止接受新连接,已有连接上的流(stream)或请求仍需处理完毕。直接退出会导致客户端收到 GOAWAY 后立即断连,或 HTTP 请求被截断。
标准做法是调用 GracefulStop()(gRPC)或自定义 HTTP server drain 逻辑:
// gRPC Server
server.GracefulStop() // 内部发送 GOAWAY + 等待所有 stream 完成
// HTTP Server(使用 net/http)
srv := &http.Server{Addr: ":8080", Handler: mux}
// 收到 SIGTERM 后:
go func() {
-
srv.Shutdown()默认无超时,建议传入带 timeout 的 context,避免无限等待 - 若使用第三方 HTTP 框架(如 Gin、Echo),确认其
Shutdown是否真正等待活跃请求,部分实现仅关闭 listener - 对非 HTTP/gRPC 的长连接(如 WebSocket、自定义 TCP 协议),需在
preStop触发前手动遍历并通知所有连接进入只读/关闭流程
terminationGracePeriodSeconds 必须大于应用 drain 耗时
这个字段不是“缓冲时间”,而是 Kubernetes 给容器的**最大宽限期**。一旦超时,无论 Go 应用是否还在处理连接,Kubernetes 都会发 SIGKILL 强杀进程。
常见误配:设为默认 30s,但实际 drain 需要 45 秒(比如有大量未完成上传的 HTTP 连接)→ 必然中断。
- 先压测你的 Go 服务在满载下最长 drain 时间(模拟 SIGTERM 后所有活跃连接自然结束所需秒数)
- 将
terminationGracePeriodSeconds设为该值 + 5~10 秒余量,例如60 - 在
preStop中 sleep 不是好办法:它占用宽限期却没做实质 drain,反而压缩了真正的处理窗口 - 如果 drain 时间不可控(如依赖下游响应),需引入超时强制退出,并记录日志供事后分析
DaemonSet 或 StatefulSet 场景下,preStop 无法替代业务状态协调
有状态 Pod(如运行数据库代理、消息消费者、本地缓存节点)往往需要与集群其他组件协同下线:比如通知 Kafka Rebalance、释放分布式锁、提交 offset、同步本地状态到远端存储等。
这些动作不能只靠 preStop shell 脚本完成,因为:
- 脚本执行环境受限(无 Go runtime、无 configmap/mounted secrets 权限)
- 无法感知连接真实状态(比如某个 gRPC stream 是否真完成了)
- 失败无重试、无可观测性,出错即静默丢数据
正确做法是:在 Go 主进程中统一处理信号 → 执行业务级清理 → 等待关键资源释放 → 最后才调用 srv.Shutdown() 或 server.GracefulStop()。Shell preStop 仅用于兜底(如发送告警、写 exit marker 文件)。
最容易被忽略的一点:Kubernetes 不保证 preStop 一定执行成功——如果容器已卡死或 OOMKilled,钩子根本不会触发。所以业务状态清理必须具备幂等性和外部可验证性(比如通过 etcd key 或 DB 记录下线状态)。











