nginx tcp代理高并发需三层协同优化:一是调优内核参数(somaxconn、tcp_max_syn_backlog、tcp_tw_reuse等)解决建连与端口瓶颈;二是配置stream upstream keepalive连接池复用后端连接;三是匹配worker模型与系统资源限制(worker_connections、file-max、ulimit等)。

Nginx 的 TCP 代理(通过 stream 模块)要高效处理高并发连接,不能只调 Nginx 配置——关键在三层协同:内核网络栈、Nginx 进程模型与 upstream 连接池。单点优化效果有限,必须打通底层到上层的链路。
调优 Linux 内核参数,解决建连与端口瓶颈
TCP 代理对连接建立速度和端口回收极其敏感,大量短连接(如 Redis 查询、MySQL 小事务)会快速堆积 TIME-WAIT 或耗尽本地端口。常见报错 Cannot assign requested address 或 Connection refused 往往源于内核限制。
-
扩大连接队列:设
net.core.somaxconn = 65535和net.ipv4.tcp_max_syn_backlog = 65535,确保 Nginxlisten ... backlog=65535能被内核真正接纳;同时调大net.core.netdev_max_backlog = 262144防网卡收包丢弃 -
加速端口复用:启用
net.ipv4.tcp_tw_reuse = 1(仅对出向连接有效,即 Nginx 主动连后端时复用 TIME-WAIT 端口),并扩大临时端口范围:net.ipv4.ip_local_port_range = 1024 65535 -
缩短连接生命周期:设
net.ipv4.tcp_fin_timeout = 30,加快 FIN_WAIT_2 关闭;务必禁用已废弃且在 NAT 环境下导致异常的tcp_tw_recycle(设为 0)
配置 stream 模块连接池,复用后端连接
HTTP 的 keep-alive 在 TCP 层不适用,但 Nginx stream 模块支持对 upstream 复用连接——这是降低后端建连开销的核心手段。
- 在
upstream块中声明keepalive 32;(建议值为后端单实例连接处理能力的 1/2~1/3),并配keepalive_timeout 60s;避免空闲连接长期占用资源 - 显式关闭缓冲:
proxy_buffering off;(stream 默认关闭,但显式声明可防粘包或延迟) - 根据协议类型设置
proxy_responses:Redis/MySQL 等一次请求即响应的场景设为1;长连接服务(如自定义 TCP 协议)则设为0或省略
匹配系统资源与 Nginx worker 模型
worker 进程数、连接数与系统文件句柄上限必须成比例,否则会因资源不足直接拒绝连接。
- 设
worker_processes auto;并绑定 CPU:worker_cpu_affinity auto;,减少缓存失效和上下文切换 - 每个 worker 支持万级连接:
events { worker_connections 10240; use epoll; multi_accept on; } - 同步提升系统级限制:
fs.file-max = 2097152,并确保worker_rlimit_nofile≥ 单 worker 连接数 × worker 数(例如 8×10240=81920,建议设为 131072)
验证复用是否生效,避免“伪高并发”
配置完成不等于生效,需通过指标确认连接复用真实落地。
- 监控
stream_upstream_connections_active与stream_upstream_connections_idle(需启用stub_status或 Prometheus + nginx-vts-exporter) - 对比后端服务器
ss -s | grep "TCP:"中的established数,应显著低于客户端并发总数 - 检查 Nginx error log 是否出现
connect() failed (111: Connection refused)——若存在,优先排查 upstream 连接池大小或后端负载,而非盲目加 worker











