C++怎么检测系统NUMA节点之间的内存访问带宽与延迟-C++-PHP中文网

先用numactl --hardware确认NUMA节点数、CPU绑定关系及内存归属，再用numastat -p检查进程内存页分布，避免误将page fault或swap当作跨节点延迟；numactl --show可查当前shell默认策略。

c++怎么检测系统numa节点之间的内存访问带宽与延迟

用 `numactl` 和 `numastat` 快速确认 NUMA 节点拓扑与内存分布

不先看清节点数量、CPU 绑定关系和内存归属，直接测带宽延迟等于蒙眼调参。运行 numactl --hardware 输出各节点的 CPU 列表、本地内存大小和跨节点访问距离（Distance matrix），其中非对角线值越小通常表示延迟越低（但需结合实际测量验证）。numastat 可查进程当前在各节点分配/访问的内存页数，避免误把 page fault 或 swap 当作跨节点延迟——例如看到 numastat -p 中 other_node 列持续增长，说明该进程正频繁触发远端内存分配。

Linux 内核需启用 CONFIG_NUMA（主流发行版默认开启）
numactl --show 查当前 shell 的默认节点策略（如 preferred 会优先在单节点分配，掩盖跨节点行为）
若 numactl --hardware 显示所有 Distance 值相同（如全为 10），可能是 BIOS 关闭了 NUMA 或启用了 memory mirroring，此时测出的“跨节点”数据实际无意义

用 `libnuma` + 自定义访存循环测节点间延迟

标准库没有现成的跨节点延迟函数，得手动控制内存分配位置和访问路径。核心是：在节点 A 分配内存 → 用节点 B 的 CPU 执行访存 → 测 rdtsc 或 clock_gettime(CLOCK_MONOTONIC) 时间差。关键陷阱在于编译时必须链接 -lnuma，且运行时需用 numactl --cpunodebind=B --membind=A 强制绑定，否则 malloc 可能落在当前 CPU 所在节点，导致测的是本地延迟。

分配内存必须用 numa_alloc_onnode(size, node_id)，不能用 malloc + migrate_pages()（后者不保证立即迁移物理页）
访问循环要足够小（如单个 volatile int* 指针解引用），避免编译器优化掉访存；加 asm volatile("" ::: "memory") 防重排
重复测量 10000+ 次取中位数，因为单次 rdtsc 受乱序执行、TLB miss 干扰极大

int *ptr = (int*)numa_alloc_onnode(4096, 0); // 节点 0 分配
*ptr = 1;
numa_free(ptr, 4096);
// 然后在绑核到节点 1 的线程里：
uint64_t t0 = rdtsc();
volatile int x = *ptr; // 强制读取
uint64_t t1 = rdtsc();

用 `mbw` 或 `stream` 测跨节点内存带宽

测带宽比测延迟更依赖工具链稳定性。mbw（Memory Bandwidth Benchmark）支持指定源/目标节点：mbw -n 1000 -N 1 -B 0 -b 1048576 表示用节点 1 的 CPU 向节点 0 的内存写 1GB，-B 指定目标节点，-N 指定执行节点。注意它默认测 write-only，而真实负载常含 read-modify-write，所以建议额外跑 mbw -r（read）和 mbw -c（copy）对比。如果结果异常低（如不到标称带宽 30%），大概率是 PCIe 链路被其他设备占用或 BIOS 中关闭了 Node Interconnect。

C++14

C++14 对 C++11 的修正与增强版本，适合旧系统维护和较老工具链兼容。

下载

stream 需手动修改源码指定 NUMA 分配，不如 mbw 直接；其 Triad 测试隐含 cache line 复用，可能弱化跨节点差异
务必关闭 CPU 频率缩放：echo performance | sudo tee /sys/devices/system/cpu/cpu*/cpufreq/scaling_governor，否则动态降频会让带宽曲线抖动
用 perf stat -e cycles,instructions,cache-misses 同时抓指标，若 cache-misses 占比 > 20%，说明 TLB 或 cache warmup 不足，数据不可靠

C++ 代码里绕不开的 `set_mempolicy` 和 `mbind` 细节

想在 C++ 运行时动态切内存策略，不能只靠 numactl 启动参数。比如实现一个跨节点通信缓冲区，需用 mbind 将已分配内存绑定到特定节点：mbind(ptr, size, MPOL_BIND, nodemask, maxnode+1, MPOL_MF_MOVE | MPOL_MF_STRICT)。这里 MPOL_MF_STRICT 是关键——没它，内核可能静默 fallback 到其他节点分配页，导致后续访问突然变慢且无提示。

set_mempolicy(MPOL_INTERLEAVE, ...) 适合读密集型随机访问，但会抹平节点差异，不适合测带宽延迟
调用 mbind 前必须 mlock(ptr, size) 锁住内存，否则页可能被 swap out，绑定失效
错误码 EIO 表示目标节点无可用内存，ENOMEM 表示无法迁移已存在的页（此时需先 madvise(ptr, size, MADV_DONTNEED) 清空）

真正难的不是调哪个函数，而是理解“内存节点”和“CPU 节点”在硬件上未必一一对应——某些双路 Xeon 的 QPI 链路不对称，节点 0 访问节点 2 可能比访问节点 1 慢 40%，这种细节只能靠实测，文档从不写明。