c++oding="utf-8" ?>
mpi进程数与openmp线程数不可简单相加，必须满足mpi_proc × omp_num_threads ≤ 总物理核心数，并预留1–2核给系统；超线程通常不提升数值计算性能，应绑定到物理核并按numa域优化内存访问。
MPI 进程数与 OpenMP 线程数不能简单相加
很多人以为在 32 核节点上启动 32 个 MPI 进程就能跑满，或者反过来设 OMP_NUM_THREADS=32 同时只启 1 个 MPI 进程——这两种做法在真实集群上通常导致严重资源争抢或利用率不足。关键在于：MPI 进程是独立地址空间，OpenMP 线程共享地址空间，二者共存时必须满足 MPI_PROC × OMP_NUM_THREADS ≤ total_cores，且建议留出 1–2 核给系统调度和 I/O。
- 典型安全配比：8 节点 × 4 MPI 进程/节点 × 6 OpenMP 线程/进程 = 192 并行单元（对应 192 逻辑核），而非盲目堆满 256
- 超线程（Hyper-Threading）开启时，
std::thread::hardware_concurrency()返回值可能翻倍，但数值计算类负载通常不受益于超线程，应禁用或显式绑定到物理核 - 使用
taskset或numactl绑定 MPI 进程到特定 NUMA 域，避免跨域内存访问拖慢 OpenMP 内部循环
std::async 与 std::thread 在混合并行中容易引发资源泄漏
在 MPI+OpenMP 混合场景下，直接用 std::async(std::launch::async, ...) 启动任务，会导致每个 MPI 进程内部无节制创建线程，最终触发系统级线程数限制（如 Linux 的 /proc/sys/kernel/threads-max），表现为 std::system_error: Resource temporarily unavailable。这不是代码写错，而是并发模型失控。
- 避免在 MPI 进程内动态生成大量
std::thread或std::async；改用固定大小的线程池，线程数严格等于OMP_NUM_THREADS - 若必须用
std::async，限定 launch policy 为std::launch::deferred，并手动控制执行时机，防止后台线程池自动扩容 - 所有线程对象必须显式
join()或detach()；未处理的std::thread析构会直接调用std::terminate()，整个 MPI 进程崩溃
OpenMP 循环嵌套与 MPI 数据分发粒度不匹配
常见错误是把全局数据块平均切给 MPI 进程后，在每个进程内又用 #pragma omp parallel for 对整块做粗粒度并行——这会导致最后几个 MPI 进程因数据量小而早早空闲，整体扩展性卡在“最慢进程”上。真正的瓶颈往往不是 CPU，而是负载不均。
- MPI 层面按数据特征（如非均匀网格、稀疏矩阵行权重）做加权分片，而非简单
data.size() / mpi_size - OpenMP 层面启用
schedule(dynamic, chunk_size)，尤其当内层计算耗时不均（如含条件分支或访存抖动）时，静态调度会放大偏差 - 禁用
OMP_WAIT_POLICY=PASSIVE（默认），改用ACTIVE减少线程等待唤醒延迟，但需配合OMP_THREAD_LIMIT防止过度抢占
std::execution::par 在 MPI 环境中基本不可用
std::execution::par 是标准库对并行算法的抽象，但它底层依赖实现（libstdc++/libc++）的线程池，无法感知 MPI 进程边界。在多 MPI 进程共用一个节点时，它会与其他进程的 OpenMP 线程竞争同一组 OS 线程，造成调度混乱和缓存颠簸。实测中开启该选项后，std::for_each 性能可能比单线程还差。
- 在 MPI 程序中一律禁用
std::execution::par；改用显式 OpenMP 指令，例如#pragma omp parallel for reduction(+:sum) - 若需标准算法风格，封装一层基于
std::thread的分块调度器，但必须传入当前 MPI 进程的数据视图（std::span），而非原始容器 - 注意
std::vector::data()返回指针在跨 MPI 进程时无效，切勿将本地向量地址通过 MPI_Send 发送给其他进程
真正影响扩展性的，从来不是某一行代码写得够不够“高级”，而是 MPI 进程拓扑、OpenMP 线程绑定、NUMA 域划分、任务粒度这四者是否对齐。漏掉其中任意一环，1000 节点集群可能只跑出 200 节点的性能。
C++免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 C++ 的入门与实战技巧！
