Nginx worker_processes 与 NUMA 拓扑调优:在多路服务器实现吞吐性能翻倍

小明吖_3163

小明吖_3163

2026-04-23

364人浏览

原创

worker_processes auto更稳因它具备numa感知能力,能自动按本地内存节点均匀分发worker进程,避免跨节点访问导致的延迟翻倍与缓存命中率暴跌;手动设32核则易使部分进程运行在远端numa节点,引发cpu不均衡、numa_foreign升高及qps异常下降。

nginx worker_processes 与 numa 拓扑调优:在多路服务器实现吞吐性能翻倍

worker_processes auto 为什么比手动设核数更稳

在双路或四路 NUMA 架构服务器上,手动写死 worker_processes 32 很可能让一半 worker 进程跑在远端 NUMA 节点上——它们访问内存要跨 QPI/UPI 总线,延迟翻倍,缓存命中率暴跌。而 worker_processes auto 从 Nginx 1.3.8 起就内置 NUMA 感知逻辑:它读取 /sys/devices/system/node/ 下的节点拓扑,优先把 worker 进程均匀分发到每个本地内存节点对应的核心组,避免跨节点调度。

常见错误现象:
• 压测时 CPU 利用率不均衡(比如 32 核里只有 16 核跑满)
• numastat -p $(pgrep nginx | head -1) 显示 numa_hit 低、numa_foreign 高
• 同样配置下,单路服务器 QPS 是双路的 1.8 倍以上

实操建议:
• 必须用 worker_processes auto,不要手算总核数
• 验证是否生效:启动后执行 ps -eo pid,psr,comm | grep nginx,观察各 worker 的 CPU 编号是否自然聚类(如 0–15 和 32–47 分两组)
• 若发现进程仍散落在所有逻辑 CPU 上,检查内核是否禁用了 NUMA(cat /proc/cmdline | grep numa=off)

worker_cpu_affinity auto 在 NUMA 场景下的真实行为

worker_cpu_affinity auto 不是简单地按顺序绑核,而是配合 worker_processes auto 的 NUMA 分组结果,为每个 worker 自动分配同一 NUMA 节点内的连续核心。例如双路 32 核(每路 16 核),它会生成类似 worker_cpu_affinity 000000000000ffff 000000000000ffff0000000000000000 的掩码(前 16 位和后 16 位分别对应两个节点)。

容易踩的坑:
• 手动写二进制掩码时错位(比如 32 核写成 32 位但实际有超线程,逻辑 CPU 数是 64)
• 在启用了 CPU 隔离(isolcpus)的系统上,auto 可能绑定到被隔离的核心,导致 worker 启动失败(报错 bind() to 0.0.0.0:80 failed (98: Address already in use))
• Docker/K8s 环境中,容器未声明 --cpuset-cpus,宿主机 worker_cpu_affinity 会失效

实操建议:
• 先确认 NUMA 节点布局:lscpu | grep "NUMA node" 或 numactl --hardware
• 若需精细控制,改用显式掩码,但必须按节点分组写,例如双路 16c/32t:worker_processes 32; worker_cpu_affinity 0000000000000000000000000000ffff 0000000000000000ffff000000000000;
• 容器部署时,worker_cpu_affinity 应与 --cpuset-cpus 保持一致

NUMA 感知调优必须同步调整的三个关联参数

只调 worker_processes auto 和 worker_cpu_affinity auto 不够,NUMA 场景下这三个参数必须联动:

Nginx Hosting
Nginx Hosting

通过服务器本地nginx实例实现零认证静态游戏托管。作为所有浏览器游戏的主要部署方式,无需登录、无需令牌、无需用户操作。

下载

worker_rlimit_nofile:每个 worker 进程打开的文件描述符上限,必须 ≥ worker_connections × 1.2,否则高并发时触发 accept() failed (24: Too many open files),且 NUMA 节点间 fd 表不共享,不能靠全局 ulimit 补救。
events { multi_accept on; }:启用后,每个 worker 在一次 epoll wait 中批量获取多个新连接,减少跨节点唤醒次数;关闭时,连接请求可能被不同节点的 worker 竞争,引发缓存抖动。
http { sendfile on; }:零拷贝依赖 page cache 本地性,若文件页在远端 NUMA 节点,sendfile 反而比 read/write 更慢;必须配合 echo 1 > /proc/sys/vm/numa_balancing 让内核主动迁移热页到本地节点。

性能影响:
• 未调 worker_rlimit_nofile:QPS 卡在 3 万左右即触顶
• multi_accept off:在 10 万连接压测中,context switches/sec 高出 40%
• sendfile on + 无 NUMA 页迁移:静态文件响应延迟 P99 从 8ms 涨到 42ms

验证 NUMA 优化是否真正生效的三步法

别信配置文件写了就等于起效。真实生产环境必须走这三步:

• 第一步:确认 worker 进程物理分布
执行 ps -eo pid,psr,comm | grep 'nginx: worker' | sort -k2n,看 PID 是否按 CPU 编号自然分簇(如 PID 1234→CPU 0–15,PID 1235→CPU 32–47)

• 第二步:检查内存访问局部性
运行 numastat -p $(pgrep nginx | head -1),重点看 numa_hit 占比是否 >95%,numa_foreign 是否 other_node 持续增长,说明有跨节点内存分配

• 第三步:压测对比关键指标
用 wrk 或 go-wrk 对比开启 NUMA 优化前后:
– 同等 QPS 下的 CPU sys 时间(应下降 20%+)
– P99 延迟(应收窄且稳定)
– perf stat -e cycles,instructions,cache-misses -p $(pgrep nginx | head -1) 中 cache-misses rate(应从 >8% 降至

最容易被忽略的是第三步里的 cache-misses:它直接反映 CPU 缓存行在 NUMA 节点间的无效化频率,比任何吞吐数字都更能暴露底层亲和性缺陷。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

nginx

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
C语言变量命名
C语言变量命名

c语言变量名规则是:1、变量名以英文字母开头;2、变量名中的字母是区分大小写的;3、变量名不能是关键字;4、变量名中不能包含空格、标点符号和类型说明符。php中文网还提供c语言变量的相关下载、相关课程等内容,供大家免费下载使用。

2023.06.20

3249

3

c语言入门自学零基础
c语言入门自学零基础

C语言是当代人学习及生活中的必备基础知识,应用十分广泛,本专题为大家c语言入门自学零基础的相关文章,以及相关课程,感兴趣的朋友千万不要错过了。

2023.07.25

2348

9

c语言运算符的优先级顺序
c语言运算符的优先级顺序

c语言运算符的优先级顺序是括号运算符 > 一元运算符 > 算术运算符 > 移位运算符 > 关系运算符 > 位运算符 > 逻辑运算符 > 赋值运算符 > 逗号运算符。本专题为大家提供c语言运算符相关的各种文章、以及下载和课程。

2023.08.02

1280

5

c语言数据结构
c语言数据结构

数据结构是指将数据按照一定的方式组织和存储的方法。它是计算机科学中的重要概念,用来描述和解决实际问题中的数据组织和处理问题。数据结构可以分为线性结构和非线性结构。线性结构包括数组、链表、堆栈和队列等,而非线性结构包括树和图等。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.08.09

1218

4

c语言random函数用法
c语言random函数用法

c语言random函数用法:1、random.random,随机生成(0,1)之间的浮点数;2、random.randint,随机生成在范围之内的整数,两个参数分别表示上限和下限;3、random.randrange,在指定范围内,按指定基数递增的集合中获得一个随机数;4、random.choice,从序列中随机抽选一个数;5、random.shuffle,随机排序。

2023.09.05

1376

5

c语言const用法
c语言const用法

const是关键字,可以用于声明常量、函数参数中的const修饰符、const修饰函数返回值、const修饰指针。详细介绍:1、声明常量,const关键字可用于声明常量,常量的值在程序运行期间不可修改,常量可以是基本数据类型,如整数、浮点数、字符等,也可是自定义的数据类型;2、函数参数中的const修饰符,const关键字可用于函数的参数中,表示该参数在函数内部不可修改等等。

2023.09.20

2218

7

c语言get函数的用法
c语言get函数的用法

get函数是一个用于从输入流中获取字符的函数。可以从键盘、文件或其他输入设备中读取字符,并将其存储在指定的变量中。本文介绍了get函数的用法以及一些相关的注意事项。希望这篇文章能够帮助你更好地理解和使用get函数 。

2023.09.20

3540

8

c数组初始化的方法
c数组初始化的方法

c语言数组初始化的方法有直接赋值法、不完全初始化法、省略数组长度法和二维数组初始化法。详细介绍:1、直接赋值法,这种方法可以直接将数组的值进行初始化;2、不完全初始化法,。这种方法可以在一定程度上节省内存空间;3、省略数组长度法,这种方法可以让编译器自动计算数组的长度;4、二维数组初始化法等等。

2023.09.22

16275

6

c语言中null和NULL的区别
c语言中null和NULL的区别

c语言中null和NULL的区别是:null是C语言中的一个宏定义,通常用来表示一个空指针,可以用于初始化指针变量,或者在条件语句中判断指针是否为空;NULL是C语言中的一个预定义常量,通常用来表示一个空值,用于表示一个空的指针、空的指针数组或者空的结构体指针。

2023.09.22

549

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
phpEnv手册
phpEnv手册

共0课时 | 0人学习

nginx手册
nginx手册

共0课时 | 0人学习

进程与SOCKET
进程与SOCKET

共6课时 | 0.5万人学习