如何配置 worker_cpu_affinity 手动指定掩码在 128 核服务器上压榨网关吞吐上限-Nginx-PHP中文网

子网掩码是32位二进制数，用于划分IP地址的网络部分和主机部分，其中连续1表示网络位、连续0表示主机位；其核心作用是确定网络边界、支持IP地址分配、提升网络性能与安全性。

如何配置 worker_cpu_affinity 手动指定掩码在 128 核服务器上压榨网关吞吐上限

直接配 128 位掩码不现实，也容易出错。128 核服务器（尤其是双路/四路 NUMA 架构）的关键不是“填满所有位”，而是按物理拓扑分组绑定、避开超线程争抢、对齐网卡中断。手动指定掩码只在特定场景必要，比如需严格控制跨 NUMA 访存或调试锁竞争，否则强烈推荐用 auto 模式。

先别写配置，跑两行命令看清楚硬件实际结构：

nproc —— 看当前系统识别的逻辑 CPU 总数（可能是 128，也可能是 64 或 256，取决于 BIOS 是否开启超线程）
lscpu | grep -E "(CPU$s$|NUMA|Thread|Core|Socket)" —— 查清是单路/双路/四路、每路几核几线程、NUMA 节点数、是否启用 SMT
cat /sys/devices/system/node/ —— 列出 NUMA node 数量（如 node0–node3），每个 node 下的 cpu*/topology/core_id 可定位物理核归属

例如：双路 64 核（每路 32 物理核 + HT 开启 → 共 128 逻辑核），通常有 2 个 NUMA 节点，每个节点含 64 个逻辑 CPU（编号 0–63 和 64–127）。这时盲目写 128 组 128 位掩码毫无意义，反而导致跨 NUMA 访存激增。

若确需手动指定（如测试某 32 核子集、或屏蔽部分核心做隔离），注意三点：

位数必须严格等于逻辑 CPU 总数：128 核就写 128 位二进制，不能少也不能多；每组掩码长度一致，用空格分隔
优先绑定物理核，跳过超线程伙伴：假设物理核 0 对应逻辑 CPU 0 和 64（HT 配对），那就只用 000…0001（第 0 位为 1）和 000…0001auto 0000...ffff 限定范围
worker_processes 必须 ≤ 掩码组数：设 worker_processes 32，就只提供 32 组掩码，每组对应一个 worker；不要写 128 组却只起 4 个进程，多余掩码被忽略

示例（双路 128 逻辑核，只启用第一路 64 核中的前 32 个物理核）：

worker_processes 32;
worker_cpu_affinity auto 00000000000000000000000000000000ffffffff000000000000000000000000;

这里 auto 启动自动分配，后接 128 位十六进制掩码（共 32 字节），ffffffff 占 32 位 → 对应逻辑 CPU 0–31，确保所有 worker 都落在 node0 的低区物理核上。

光绑 CPU 核远远不够，128 核下瓶颈常在其他环节：

关闭 accept 锁：accept_mutex off;（Nginx ≥ 1.11.3 默认已关，但需确认）
开启批量接受连接：multi_accept on;，避免每个新连接都触发一次事件唤醒
调高连接上限并匹配系统限制：worker_connections 65535;，同时执行 ulimit -n 1048576 并写入 /etc/security/limits.conf，内核参数 fs.file-max = 2097152
网卡中断亲和性对齐：用 ethtool -l eth0 查队列数，用 echo $mask > /proc/irq/$irq/smp_affinity_list 把每个 RX 队列绑到和 Nginx worker 相同的 NUMA 节点内核心（如 worker 在 node0 的 0–31，就把前 32 个队列绑过去）
禁用 irqbalance 干扰：在 EulerOS/CentOS 等系统中，systemctl stop irqbalance && echo 'IRQBALANCE_ARGS="--hintpolicy=ignore"' > /etc/sysconfig/irqbalance，防止它把中断乱迁

启动后立刻检查，别等压测完才看：

ps -eo pid,args,psr | grep nginx | grep -v grep | head -n 10 —— 看各 worker 的 PSR（运行核号）是否分散且符合预期（如全在 0–31）
taskset -cp $(pgrep -f "nginx: worker") | head -n 5 —— 确认每个进程允许运行的 CPU 列表是否精确匹配你设定的掩码
numastat -p $(pgrep -f "nginx: worker" | head -1) —— 查看内存分配是否集中在本地 NUMA node（重点看 numa_hit 占比，应 >95%）

如果 PSR 列全是同一个数字，或 taskset 显示允许所有核，说明配置未加载或被覆盖（检查是否写在 events/http 块内——必须放在最外层全局块）。