linux hpc节点网络优化需从协议栈绕过、内核旁路、硬件协同、numa亲和、中断调度五层面系统实施，核心是降低延迟、提升带宽、减少cpu开销并保障rdma确定性行为。
Linux 高性能计算（HPC）节点的底层内核互联网络优化，核心目标是降低通信延迟、提升带宽利用率、减少 CPU 开销与中断抖动，并保障多进程/多线程间 RDMA 或高速网络（如 InfiniBand、RoCE、Omni-Path）的确定性行为。这不是简单调几个 sysctl 参数就能解决的事，而是需从协议栈绕过、内核旁路、硬件协同、NUMA 亲和、中断调度五个层面系统性优化。
? 关键路径：绕过 TCP/IP 协议栈，启用内核旁路机制
HPC 场景中，MPI 通信（如 OpenMPI、MPICH）强烈依赖低延迟、高吞吐的点对点传输。默认走内核 TCP/IP 栈会引入数百纳秒到微秒级额外开销，必须规避：
强制使用用户态网络驱动（如 libibverbs + RDMA）
确保 MPI 库编译时启用--with-ofi或--with-pmi=pmix --with-verbs，运行时指定OMPI_MCA_btl=^tcp排除 TCP 传输层。-
禁用内核网络协议栈对 HPC 网络接口的干预
# 假设 IB 接口为 ib0，RoCE 接口为 ib1 echo 0 > /proc/sys/net/ipv4/conf/ib0/forwarding echo 0 > /proc/sys/net/ipv4/conf/ib0/arp_ignore echo 2 > /proc/sys/net/ipv4/conf/ib0/arp_announce
防止 ARP 广播、路由转发等干扰 RDMA 地址解析（GID）和数据直通。
-
关闭 GRO/LRO/GSO/TSO 等卸载干扰（尤其 RoCEv2 场景）
ethtool -K ib1 gro off lro off gso off tso off
? NUMA 与 CPU 亲和：让通信靠近内存与核心
HPC 节点通常为多插槽 NUMA 架构。RDMA DMA、中断处理、MPI 进程若跨 NUMA 访问内存，延迟翻倍：
-
绑定 MPI 进程到本地 NUMA 节点
numactl --cpunodebind=0 --membind=0 mpirun -np 4 ./my_hpc_app
-
将网卡 IRQ 中断绑定至同 NUMA 的 CPU 核心
# 查找 ib0 对应的 IRQ 编号 grep ib0 /proc/interrupts | awk '{print $1}' | sed 's/://' # 绑定到 CPU0–3（属于 NUMA node 0） echo f > /proc/irq/<irq_num>/smp_affinity_list</irq_num> -
禁用内核自动 NUMA 平衡（避免迁移开销）
echo 0 > /proc/sys/kernel/numa_balancing # 永久生效：kernel.numa_balancing = 0 in /etc/sysctl.conf
⚙️ 内核参数精调：聚焦 RDMA 与低延迟场景
以下参数不适用于通用 TCP 服务，专为 RDMA/RoCE 通信路径设计：
| 参数 | 推荐值 | 说明 |
|---|---|---|
net.core.rmem_max / wmem_max
|
134217728 (128MB) |
适配大消息 MPI Allreduce；但实际由 RDMA CQ/SQ 大小控制，此值仅作兜底 |
net.core.netdev_budget |
300 |
降低 NAPI poll 量，减少软中断占用，配合轮询模式（如 mlx5_core 的 poll_mode） |
net.core.busy_poll |
50 |
允许 socket 在空闲时主动轮询（需应用显式启用 SO_BUSY_POLL） |
vm.swappiness |
1 |
极端避免 swap，防止 RDMA pinned memory 被换出（否则导致 IB_WC_RETRY_EXC_ERR） |
kernel.sched_migration_cost_ns |
5000000（5ms） |
抑制频繁进程迁移，保持 cache locality |
✅ 注意：
tcp_*类参数（如tcp_tw_reuse、tcp_congestion_control）在纯 RDMA 场景下完全无效，无需设置。
?️ 硬件与驱动层必须项
- 启用 SR-IOV 或直接分配 PF/VF 给容器/VM（若跑在虚拟化环境）
- 升级固件与驱动：Mellanox OFED ≥ 23.07、NVIDIA ConnectX-6+ 固件 ≥ 22.32.2000
-
开启硬件时间戳（PTP）与精确时钟同步（
chrony+phc2sys），支撑 MPI barrier 同步精度 - 关闭 BIOS 中的 C-states（尤其是 C6/C7）和 PCIe ASPM，避免链路唤醒延迟
不复杂但容易忽略。真正决定 HPC 网络性能上限的，从来不是 sysctl 里那几行数字，而是是否让数据流彻底脱离内核协议栈、是否让每一次 DMA 都落在最近的内存上、是否让每一个中断都由最熟的 CPU 核心响应。
