子网划分怎么通过绑核技术(CPU Pinning)提升高性能计算性能

胖强大大_3361

胖强大大_3361

2026-11-20

948人浏览

原创

子网划分与CPU绑核分属网络层和计算资源调度层,但在HPC中协同优化可降低通信延迟;需按子网分组绑定同NUMA节点且靠近网卡的CPU核心,并对齐子网、网络设备、NUMA节点与CPU四层拓扑。

子网划分怎么通过绑核技术(cpu pinning)提升高性能计算性能

子网划分本身不直接使用绑核技术,它属于网络层的IP地址规划操作;而CPU绑核(CPU Pinning)是计算资源调度层面的技术。两者分属不同系统层级——子网划分管“数据往哪发”,绑核管“计算在哪跑”。但当高性能计算(HPC)任务运行在分布式子网环境中(例如MPI跨多个计算节点通信),合理结合子网拓扑与CPU绑核,能显著减少通信延迟、提升整体吞吐。

关键在于:让计算靠近通信出口,避免跨NUMA节点+跨网卡的数据搬运。


子网拓扑感知的绑核策略

现代HPC集群常采用分层网络架构(如Fat-Tree、Dragonfly),每个计算节点连接到特定交换机,形成逻辑子网。同一子网内的节点间通信延迟低、带宽高。若MPI进程绑定的CPU核心离本节点的网卡物理距离远(比如绑在远离PCIe插槽的CPU上),或访问的是远端NUMA节点的内存,就会放大通信开销。

实际优化要点包括:

  • 识别网卡亲和性:用lspci -vv | grep -A 10 "Ethernet\|Network"查网卡挂载的PCIe总线号,再通过lscpu或numactl --hardware确认该总线所属的NUMA节点。理想情况是:负责MPI发送/接收的线程,绑定在同NUMA节点且靠近该网卡的CPU核心上。
  • 按子网分组绑定:若集群划分为子网A(节点1–8)、子网B(节点9–16),可为子网A内所有MPI进程统一预留CPU核心0–7,并禁用这些核心上的中断(isolcpus=0-7 + rcu_nocbs=0-7),确保通信线程不受干扰。
  • 避免跨插槽网卡访问:双路服务器中,网卡可能只接在CPU0所在Socket。若MPI线程绑在CPU1的核上,每次发包都要跨QPI/UPI链路访问CPU0的内存和网卡寄存器——这种隐式跨NUMA访问比计算本身更伤性能。

绑核配合子网通信的典型配置步骤

以OpenMPI为例,在启动命令中嵌入拓扑感知的绑定参数:

mpirun \
  --bind-to core \
  --map-by node:PE=1 \
  --rank-by core \
  --cpu-set 0-3 \
  --mca btl_tcp_if_include eth0 \
  ./my_hpc_app

说明:

WorkAny
WorkAny

WorkAny是一款AI智能体工具,本地运行的开源AI桌面智能体。

下载
  • --cpu-set 0-3:限定只用前4个逻辑核(建议提前用taskset -c 0-3 sleep 10 &验证是否真隔离)
  • --mca btl_tcp_if_include eth0:强制MPI只走eth0(该接口属于某个子网),避免路由混乱
  • 若eth0挂载在NUMA node 0,则0-3应全属于node 0(用numactl -N 0 taskset -c 0-3 true验证)

小技巧:用mpirun --report-bindings查看实际绑定结果;再用cat /proc//status | grep Cpus_allowed_list确认线程级亲和性是否生效。


为什么忽略子网会削弱绑核效果

常见误区是只做“均匀绑核”(如每个MPI进程绑1个核),却不考虑:

  • 网卡中断被分散到所有CPU,抢占计算线程时间片;
  • MPI内部的共享内存通信(如sm或ucx后端)依赖本地NUMA内存,若vCPU绑在远端节点,malloc分配的内存不在本地,反而加剧延迟;
  • 子网间流量经核心交换机时存在排队,若发送端CPU负载不均,会导致突发包堆积,触发TCP重传或MPI超时。

真正有效的做法,是把子网边界 → 物理网络设备位置 → NUMA节点 → CPU核心这四层对齐,形成端到端低延迟通路。


不复杂但容易忽略。

相关文章

数码产品性能查询
数码产品性能查询

该软件包括了市面上所有手机CPU,手机跑分情况,电脑CPU,电脑产品信息等等,方便需要大家查阅数码产品最新情况,了解产品特性,能够进行对比选择最具性价比的商品。

下载

相关标签:

子网

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

相关专题

更多
服务器是什么
服务器是什么

服务器是一种计算机硬件设备或软件程序,它具有强大的计算和存储能力,用请求、存储数据和提供服务。它在互联网中着关重要的作用,为用户提供各种服务和资源。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.08.15

477

5

连接apple id服务器时出错
连接apple id服务器时出错

连接apple id服务器时出错的原因包括网络连接问题、服务器问题、Apple ID账户问题、设备问题、防火墙或安全软件问题、时间和日期设置问题、Apple服务器维护等。本专题为大家提供apple id相关的文章、下载、课程内容,供大家免费下载体验。

2023.09.08

1020

5

搭建互联网服务器
搭建互联网服务器

搭建互联网服务器需要:1、选择合适的硬件和操作系统,第一步是选择合适的硬件和操作系统;2、安装和配置操作系统,是搭建互联网服务器的关键步骤;3、安装和配置服务器软件,是搭建互联网服务器的下一步,常见的服务器软件包括Apache、Nginx、Tomcat等;4、配置防火墙和安全性,是搭建互联网服务器的重要步骤;5、域名解析和配置,是搭建互联网服务器的最后一步。

2023.09.19

3752

5

如何查看服务器状态
如何查看服务器状态

查看服务器状态的方法有使用命令行工具、图形界面工具、监控工具、日志文件和远程管理工具等。本专题为大家提供服务器状态相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.09

1216

5

服务器域名转接慢怎么解决
服务器域名转接慢怎么解决

服务器域名转接慢的解决办法有DNS优化、服务器优化、CDN加速、前端优化和网络优化等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.17

1089

5

服务器评测软件
服务器评测软件

服务器评测软件有PassMark Software、CPU-Z、GPU-Z、CrystalDiskMark、IOmeter、JMeter、LoadRunner、Apache Bench等等。详细介绍:1、PassMark Software是一款综合性的服务器性能测试软件,可以评估服务器在各种负载条件下的性能;2、CPU-Z是一款可以提供服务器CPU详细信息的软件等等。

2023.10.17

574

3

如何开启TFTP服务器
如何开启TFTP服务器

开启TFTP服务器的步骤包括选择TFTP服务器软件、下载和安装软件、配置TFTP服务器以及启动和测试服务器等。本专题为大家提供服务器相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.18

3476

4

服务器负载不兼容怎么解决
服务器负载不兼容怎么解决

解决方法:1、增加服务器资源;2、负载均衡;3、优化应用程序;4、增加缓存机制;5、分布式架构;6、限流和熔断;7、自动化扩容。想知道更详细服务器负载不兼容的解决方法,可以访问本专题下面的文章。

2023.10.20

6612

4

宽带如何接入服务器
宽带如何接入服务器

宽带接入服务器的方法有ADSL宽带接入服务器、光纤接入服务器、无线接入服务器和以太网接入服务器等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2023.10.20

987

5

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
热门推荐
/
最新课程
phpStudy极速入门视频教程
phpStudy极速入门视频教程

共6课时 | 54.7万人学习

独孤九贱(4)_PHP视频教程
独孤九贱(4)_PHP视频教程

共89课时 | 134.3万人学习