关键是让每个worker进程独占物理核心并全程处理同批网络流:绑定cpu核、分散软中断、numa内存本地化、关闭干扰项。需启用多队列网卡与rps,配置worker_cpu_affinity auto或手动掩码,用numactl启动并验证local_node>95%。

要让 Nginx 在多核 CPU 上真正跑满硬件吞吐量,关键不是堆进程数,而是把异步非阻塞事件驱动模型和多核硬件特性对齐——让每个 worker 进程独占一个物理核心、全程处理同一批网络数据流,避免跨核调度和缓存失效。
让每个 worker 绑定专属 CPU 核心
Nginx 的每个 worker 是单线程、事件驱动的,天然适合绑定到单一核心。不绑定会导致多个 worker 被调度到同一核上争抢资源,或频繁迁移导致 L1/L2 缓存反复失效:
- 设 worker_processes auto,自动匹配逻辑 CPU 总数(含超线程)
- 启用 worker_cpu_affinity auto(Nginx ≥ 1.9.10),由 Nginx 自动按顺序分配核心,比手动写二进制掩码更可靠
- 若需精细控制(如 NUMA 场景),可手动指定,例如 8 核机器: worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000
把网络中断和软中断也拉到同一组核心
光绑 worker 不够。如果网卡中断(IRQ)和 NET_RX 软中断落在别的核上,数据包收进来后还得跨核搬运,白白消耗带宽和延迟:
- 确认网卡支持多队列:ethtool -l eth0,再用 ethtool -L eth0 combined N(N = 物理核数)启用硬件多队列
- 开启 RPS(软件包分流):echo ff > /sys/class/net/eth0/queues/rx-0/rps_cpus(8 核写 ff,16 核写 ffff)
- 运行 watch -n 1 'cat /proc/softirqs | grep NET_RX',观察各 CPU 的软中断增长是否基本均衡
关闭干扰项,释放事件循环效率
异步非阻塞模型依赖轻量、确定性的事件处理路径。任何阻塞操作或锁竞争都会拖慢整个 worker:
- accept_mutex off(Nginx ≥ 1.11.3 默认已关),避免 worker 间因 accept() 串行排队
- multi_accept on,让单个 worker 一次从内核事件队列中取多个新连接,减少 epoll_wait 唤醒次数
- worker_connections 设高(如 65535),并同步调大系统级限制:ulimit -n 1048576 和 fs.file-max = 2097152
- 禁用阻塞式日志写入:用 access_log /path/log main buffer=64k flush=1s 启用缓冲;错误日志加 buffer=32k
适配 NUMA 架构,避免跨节点内存访问
双路或多路服务器中,CPU 和本地内存组成一个 NUMA node。跨 node 访存延迟可能翻倍,直接拖垮吞吐:
- 用 lscpu 和 numactl --hardware 查清 topology,比如两路 32 核,每路 16 核 + 对应内存
- worker_processes 设为单 node 核心数(如 16),而非总核数(32)
- 主进程启动时加约束:numactl --cpunodebind=0 --membind=0 /usr/sbin/nginx
- 验证:numastat -p $(pgrep nginx),local_node 应 >95%,foreign 接近 0











