核心是让网络数据进来、软中断处理、nginx worker执行全程绑定匹配cpu核:启用多队列网卡与rps分散net_rx软中断,worker_cpu_affinity绑定进程,numactl限定numa节点,优先选用轮询负载均衡算法。

核心是让网络数据进来、软中断处理、Nginx worker 执行这三步全程落在匹配的 CPU 核上,避免跨核调度和跨 NUMA 节点内存访问。
让网卡流量均匀分发到多个 CPU
单队列网卡会把所有中断压到一个 CPU,造成 NET_RX 软中断堆积。必须启用多队列并配合内核调度机制:
- 用 ethtool -l eth0 查看网卡最大队列数,再执行 ethtool -L eth0 combined N(N 为实际核数)启用多队列
- 开启 RPS:写入十六进制掩码到 /sys/class/net/eth0/queues/rx-0/rps_cpus,如 8 核写 ff,16 核写 ffff
- 验证是否生效:运行 watch -n 1 'cat /proc/softirqs | grep NET_RX',各 CPU 列增长速率应基本一致
绑定 Nginx worker 进程到专属 CPU 核
光分散软中断不够,worker 必须和处理该流量的 CPU 对齐,减少缓存失效:
- 设 worker_processes auto 或显式为物理核总数(如 16 核就设 16)
- 用 worker_cpu_affinity auto 让 Nginx 自动绑定;或手动配置位掩码,如 8 核服务器:
worker_cpu_affinity 00000001 00000010 ... 10000000 - 加 worker_priority -20 提升调度权重,抢占更多时间片
适配 NUMA 架构,避免跨节点内存访问
双路或多路服务器中,CPU 和本地内存绑定,跨节点访问延迟翻倍:
- 先用 lscpu 和 numactl --hardware 查清节点拓扑,确认每个 node 的 CPU 编号和内存容量
- worker_processes 设为单节点物理核数(如双路 32 核,每路 16 核 → 设 16)
- 用 numactl 启动 Nginx:
numactl --cpunodebind=0 --membind=0 /usr/sbin/nginx - 验证:numastat -p $(pgrep nginx) 中 local_node 应 >95%,foreign 接近 0
选对负载均衡算法,降低 CPU 计算开销
算法本身会吃 CPU,尤其在高 QPS 下:
- 轮询(round-robin) 开销最低,仅计数器取模,适合大多数场景
- ip_hash 或 hash $request_uri 需哈希计算,万级 RPS 下可占 worker CPU 的 8%~20%
- least_time 依赖共享内存锁读响应时间,在 16 核+、后端超 32 台时易引发锁争用,推高 sys CPU
- 实测建议:用 wrk 压测不同算法,重点关注 top 中 worker 的 %CPU 和上下文切换次数











