构建万级并发ssl集群的关键是优化握手性能、横向扩展与高可用保障:启用共享会话缓存、ecdsa+tls1.3、reuseport分流、l4负载均衡及动态证书热更新,并通过真实压测验证会话复用率与握手延迟。

要构建支持万级并发 SSL 握手的高可用 SSL 集群,核心不在堆机器,而在压测前就理清 Nginx 的 TLS 性能瓶颈点——主要是 CPU(RSA/ECDSA 密钥交换、证书验证)、上下文切换(连接数暴涨时的 epoll 与 worker 调度)、以及 SSL 会话复用失效导致重复握手。Nginx 本身不是“集群”,它需要和上游服务、TLS 卸载策略、健康探测协同才能形成真正高可用的 SSL 入口层。
优化 SSL 握手性能:减少每连接 CPU 开销
万级并发握手不等于万次完整握手。目标是让 95% 以上连接复用会话,避免 RSA 解密或 ECDSA 签名校验。
- 启用 SSL session cache shared:例如
ssl_session_cache shared:SSL:20m(约可缓存 8–10 万个会话),配合ssl_session_timeout 4h,显著降低重复协商率 - 强制使用 ECDSA 证书 + TLS 1.3:比 RSA 快 3–5 倍,且 TLS 1.3 默认 1-RTT 握手,禁用不安全旧协议:
ssl_protocols TLSv1.3;(Nginx 1.13.0+) - 关闭 OCSP Stapling 的实时查询(除非强合规要求):
ssl_stapling off;或预加载响应并设长缓存,避免每次握手触发 upstream DNS/HTTP 请求 - 使用 ssl_buffer_size 4k 避免小包碎片,提升 TLS 记录层吞吐
横向扩展与负载分发:让 Nginx 实例不单点
单台 Nginx 即使调优也难稳撑万级并发 SSL 连接(受限于内存、CPU 核数、文件描述符)。需多实例 + 前置 L4 负载均衡。
- 部署 3–5 台 Nginx 实例,每台绑定独立公网 IP 或通过 VIP 暴露,worker 数设为 CPU 核心数(
worker_processes auto;),并开启reuseport(Linux 3.9+):listen 443 ssl reuseport;,内核层面分流 SYN,降低 accept 队列争用 - 前置使用 Keepalived + LVS(DR 模式) 或云厂商 NLB(如 AWS NLB、阿里云 CLB TCP 模式),做纯四层转发,不终止 TLS,把流量打散到后端 Nginx 池
- 避免在 Nginx 层做 TLS 终止后再 proxy_pass 到另一层 TLS 服务(双重加解密),如必须,改用 SSL passthrough(如用 Envoy 或 HAProxy TCP mode),由后端真实服务处理证书
保障高可用:自动故障转移与连接韧性
高可用 ≠ 多副本,而是故障时用户无感知断连、重试成本低、证书/配置热更新不中断。
- 所有 Nginx 实例共用同一套证书和私钥(通过配置中心或 NFS 同步),并用
ssl_certificate_by_lua_block{ }(需 lua-nginx-module)动态加载证书,支持 SNI 多域名热更新 - 上游服务健康检查必须基于 TLS 握手成功率,而非简单 TCP 可达:用
health_check interval=3 fails=2 passes=2 port=443+ 自定义match规则校验 ServerHello;或用 OpenResty 的lua-resty-upstream-healthcheck - 开启 tcp_nodelay on 和 keepalive 100(upstream),复用后端连接;客户端侧建议设置
keep-alive: timeout=5, max=1000,配合 Nginx 的keepalive_timeout 5s,平衡连接复用与资源释放
可观测性与压测验证:别信理论值,只信实测曲线
万级并发是结果,不是配置开关。必须用真实 TLS 流量压测,关注关键指标拐点。
- 用 hey -t 30 -c 5000 -m GET -H "Host: api.example.com" https://vip.example.com/health(支持 HTTP/2 + TLS),或 go-wrk(支持自定义 TLS config)模拟带 SNI、ALPN、session resumption 的请求
- 监控重点:每秒 TLS 握手数(
nginx_stub_status中Accepts/Handled差值)、worker CPU 使用率(>75% 即告警)、ssl_handshake_timep95 > 80ms 说明 ECDSA 或 cache 命中率低 - 日志中开启
$ssl_protocol $ssl_cipher $ssl_session_reused,统计r(reused)占比,低于 85% 就要查 cache size 或客户端行为(如移动端频繁 kill 进程)
不复杂但容易忽略:万级 SSL 并发的本质,是让绝大多数连接“不握手”,靠缓存、ECDSA、TLS 1.3 和合理超时设计把单连接握手开销压到 0.5ms 以内;再用多实例 + 四层分发把压力摊薄;最后靠细粒度健康检查和动态证书管理守住可用性底线。集群的“高可用”体现在故障时连接自动漂移、证书轮换零中断、扩容只需加机器而非改配置。











