Linux怎么排查vCPU绑定错误引发的严重跨NUMA节点访问性能退化

轻丽姑娘_6749

轻丽姑娘_6749

2026-10-12

717人浏览

原创

最快方式是直接查看 /proc/[pid]/numa_maps,它明确显示每段内存所属 numa 节点(如 n0=0 n1=102400),结合 numastat -p [pid] 中 numa_miss 和 numa_foreign 持续超 5% 即可确认存在显著跨节点访问。

linux怎么排查vcpu绑定错误引发的严重跨numa节点访问性能退化

怎么确认进程正在跨NUMA节点访问内存

直接看 /proc/[pid]/numa_maps 是最快的方式。它会暴露每个内存区域实际落在哪个 NUMA 节点上,以及是否发生跨节点访问(标记为 interleave 或大量 N<x>=0 N<y>=大数</y></x>)。

常见错误现象包括:numa_maps 中某段堆内存显示 N0=0 N1=102400(即全部分配在节点 1),但该进程的主线程正运行在节点 0 的 CPU 上;top -H -p [pid] 显示线程 CPU 使用率集中在 node 0 的核心,而 cat /proc/[pid]/status | grep -i numa 却显示 numa_preferred 为 -1 或空值。

实操建议:

  • 用 taskset -cp [pid] 查当前线程绑定的 CPU 集合,再用 lscpu | grep "NUMA node" 对照物理拓扑
  • 运行 numastat -p [pid],重点关注 numa_miss 和 numa_foreign 列 —— 两者持续 >5% 就说明存在显著跨节点访问开销
  • 避免只看 free -h 或 vmstat:它们完全不体现 NUMA 局部性问题

为什么 taskset 绑定 vCPU 后仍出现远程内存访问

taskset 只控制 CPU 亲和性,不控制内存分配策略。Linux 默认使用 interleave 模式分配内存(尤其在多 NUMA 节点系统上),这意味着即使线程被绑在 node 0 的 CPU 上,malloc 或 new 仍可能从 node 1 分配内存页。

典型诱因:

  • 启动时未设置 numactl --cpunodebind=0 --membind=0 ./your_binary,仅靠 taskset 不够
  • 子进程继承了父进程的 NUMA 策略(或无策略),导致 fork 后新线程/内存分配脱离原节点
  • 使用了多线程 BLAS(如 OpenBLAS)或 JVM,默认启用内部线程池且未做 NUMA 绑定,其内部堆分配独立于主进程策略

验证方法:在绑核后立即执行 cat /proc/[pid]/numa_maps | awk '{sum+=} END{print sum}',若总页数远大于 numastat -p [pid] | grep Total | awk '{print }',说明大量内存未按预期节点分配。

Zynq Linux Hardware Debug
Zynq Linux Hardware Debug

Zynq‑7000 / Zynq UltraScale+ 硬件调试技能。适用于 Xilinx Zynq(Cortex‑A9/A53 + FPGA)Linux 环境,调试 I2C、I2S、UART、GPIO 等外设。包括设备树配置、内核驱动、用户空间调试工具、交叉编译和常见问题排查,支持 PetaLinux 开发。

下载

容器环境下如何防止 vCPU 与 NUMA 节点错位

Kubernetes 默认不感知 NUMA 拓扑,resources.limits.cpu 分配的是逻辑 vCPU 数量,不保证其映射到同一 NUMA 节点。当 Pod 请求 4 个 vCPU,调度器可能把它们分派到 node 0 和 node 1 各 2 个,导致后续内存分配天然跨节点。

关键配置项:

  • 启用 TopologyManager 并设为 single-numa-node 策略,否则 cpu-manager-policy=static 也无效
  • Pod 必须设置 cpu-shares 为整数倍、且 resources.requests.cpu ≥ 1(不能是 0.5)才能进入 guaranteed QoS 类,触发 CPU manager 分配
  • 在容器启动命令中显式调用 numactl --cpunodebind=$NODE_ID --membind=$NODE_ID,其中 $NODE_ID 需通过 numactl -H 在容器内预查或由 init 容器注入

注意:worker_processes auto 在容器里会读宿主机核数,常导致 Nginx 启动过多 worker 进程却挤在单个 NUMA 节点上,加剧争用 —— 必须改为显式数字并配合 worker_cpu_affinity。

哪些工具能实时抓到跨 NUMA 访问抖动

perf 是目前唯一能穿透到硬件层定位远程内存访问延迟的工具。用 perf record -e mem-loads,mem-stores -c 100000 抓取负载,再用 perf script | awk '/mem-loads/ && /remote/ {print}' 过滤出远程访问事件。

更实用的轻量级组合:

  • perf stat -e 'uncore_imc/data_reads:u,uncore_imc/data_writes:u' -p [pid]:直接读取 Intel IMC(内存控制器)计数器,data_reads:u 值高 + LLC-load-misses 同步升高,基本可断定是远程读
  • numastat -s(全局统计)比 -p 更早暴露趋势:若 other_node 列持续增长,说明内核已开始强制跨节点分配
  • cat /sys/devices/system/node/node*/meminfo | grep MemTotal 和 grep MemFree 对比各节点真实可用内存,Free 差异 >30% 时,kswapd 很可能已开始跨节点回收

真正难察觉的点在于:这种退化往往不伴随 CPU 使用率飙升,也不触发 OOM Killer,只是让 P99 延迟周期性跳变几十毫秒 —— 如果监控没采样到 numa_miss 或 uncore_imc 指标,就等于在盲区跑服务。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

linux

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
磁盘配额是什么
磁盘配额是什么

磁盘配额是计算机中指定磁盘的储存限制,就是管理员可以为用户所能使用的磁盘空间进行配额限制,每一用户只能使用最大配额范围内的磁盘空间。php中文网为大家提供各种磁盘配额相关的内容,教程,供大家免费下载安装。

2023.06.21

3970

4

如何安装LINUX
如何安装LINUX

本站专题提供如何安装LINUX的相关教程文章,还有相关的下载、课程,大家可以免费体验。

2023.06.29

3393

10

linux find
linux find

find是linux命令,它将档案系统内符合 expression 的档案列出来。可以指要档案的名称、类别、时间、大小、权限等不同资讯的组合,只有完全相符的才会被列出来。find根据下列规则判断 path 和 expression,在命令列上第一个 - ( ) , ! 之前的部分为 path,之后的是 expression。还有指DOS 命令 find,Excel 函数 find等。本站专题提供linux find相关教程文章,还有相关

2023.06.30

2553

5

linux修改文件名
linux修改文件名

本专题为大家提供linux修改文件名相关的文章,这些文章可以帮助用户快速轻松地完成文件名的修改工作,大家可以免费体验。

2023.07.05

6210

7

linux系统安装教程
linux系统安装教程

linux系统是一种可以免费使用,自由传播,多用户、多任务、多线程、多CPU的操作系统。本专题提供linux系统安装教程相关的文章,大家可以免费体验。

2023.07.06

5842

7

linux查看文件夹大小
linux查看文件夹大小

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。linux怎么查看文件夹大小呢?php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.20

3413

8

linux查看ip命令
linux查看ip命令

本专题为大家提供linux查看ip命令相关文章内容,感兴趣的朋友可以免费下载体验试试。

2023.07.20

2925

4

linux查看cpu使用率
linux查看cpu使用率

在linux的系统维护中,可能需要经常查看cpu使用率,分析系统整体的运行情况。本专题为大家带来了linux查看cpu使用率的相关文章,感兴趣的朋友千万不要错过了。

2023.07.25

3139

6

linux查找文件命令
linux查找文件命令

Linux是一种自由和开放源码的类Unix操作系统,存在着许多不同的Linux版本,但它们都使用了Linux内核。Linux可安装在各种计算机硬件设备中,比如手机、平板电脑、路由器、视频游戏控制台、台式计算机、大型机和超级计算机。php中文网给大家带来了相关的教程以及文章,欢迎大家前来学习阅读。

2023.07.31

297

3

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Buffalo框架快速入门指南
Buffalo框架快速入门指南

共0课时 | 0人学习

Valgrind支持平台说明
Valgrind支持平台说明

共0课时 | 0人学习