tensorflow 2.x 默认启用多线程并行导致cpu满载，需通过tf.config.threading.set_intra_op_parallelism_threads（控制单算子内线程数）和set_inter_op_parallelism_threads（控制算子间并发数）限制，且必须在import后、任何tf操作前设置；环境变量tf_num_intraop_threads/tf_num_interop_threads优先级更高。
TensorFlow 2.x 默认会打满 CPU 所有核心，不是因为代码写错了，而是它在 eager 模式下仍默认启用多线程算子内并行（intra_op_parallelism_threads）和算子间调度（inter_op_parallelism_threads），且这两个值默认等于物理核心数。
tf.config.threading.set_intra_op_parallelism_threads 必须在 import 后立即设置
这个函数控制单个算子（比如 tf.matmul、tf.nn.conv2d）内部用几个线程跑。设为 1 就强制每个矩阵乘法只用 1 个线程，避免多个算子各自开满线程导致总占用爆炸。
- 必须放在
import tensorflow as tf之后、任何张量创建或@tf.function定义之前——哪怕你只是调了一次tf.constant(1)，再调这个设置就无效了 - 设为 0 或负数会直接抛
ValueError: Number of threads must be positive - 设为 1 是最保守的选择；设为 2 或 4 更适合容器环境或混部场景，兼顾吞吐与资源隔离
tf.config.threading.set_inter_op_parallelism_threads 控制算子并发粒度
它决定「多少个独立算子可以同时被调度执行」。比如一个前向传播里有 conv2d → relu → max_pool 三个 op，设为 1 就串行执行，设为 4 就可能让它们分发到不同线程并发跑。
- 它和
intra_op是正交的：总线程压力 ≈intra_op × inter_op（但受 OS 调度影响，非严格相乘） - 在 32 核机器上设
inter_op=64不会提升性能，反而因上下文切换拖慢整体速度 - 如果你发现 htop 里 Python 进程显示几十个线程且 CPU 占用持续 90%+，大概率是这个值没压下来
环境变量 TF_NUM_INTRAOP_THREADS 和 TF_NUM_INTEROP_THREADS 优先级更高
如果在启动 Python 前设置了这两个环境变量，它们会覆盖代码里的 tf.config.threading.set_* 调用。这在 Docker 或 Slurm 环境中很常见，容易让人误以为代码没生效。
- 检查方式：运行
print(os.environ.get("TF_NUM_INTRAOP_THREADS"))，别只信代码里写了 set - 推荐做法：统一用环境变量配置，比如启动前
export TF_NUM_INTRAOP_THREADS=2; export TF_NUM_INTEROP_THREADS=2 - 若必须用代码设置，确保没有其他地方（如父进程、shell 配置文件）预先设置了同名环境变量
PyTorch 用户注意：torch.set_num_threads 不等于 OMP/MKL 设置
PyTorch 的线程控制是三层嵌套的：torch.set_num_threads(n) 只管 PyTorch 自己的 kernel；OMP_NUM_THREADS=n 控制 OpenMP（如某些 CPU backend）；MKL_NUM_THREADS=n 控制 Intel MKL（常用于矩阵运算）。三者不一致会导致实际线程数混乱。
- 必须同时设三者，且值相同，否则某个库可能偷偷开满所有核
- 设
num_workers=0在 DataLoader 中不会降低 CPU 占用，反而可能让主线程扛住全部数据预处理，造成单核 100% 锁死 - tensor 还在 CPU 上（没调
.to('cuda')）时，所有计算都走 CPU，此时限制线程数比调 batch size 更直接有效
真正容易被忽略的是：这些设置对多进程训练（如 tf.distribute.MirroredStrategy 或 torch.multiprocessing）完全不跨进程生效——每个 worker 进程都得自己单独调一次 set_intra_op_parallelism_threads，不能只在主进程设。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
