开启torch.backends.cudnn.benchmark=True仅在输入尺寸长期稳定时加速，若每次forward的N、C、H、W变化（如动态batch、随机裁剪），则反复调优反致性能下降。
为什么开启 torch.backends.cudnn.benchmark 有时反而变慢
开启 torch.backends.cudnn.benchmark = True 并不总能加速训练——它只在输入尺寸长期稳定时才有效。CuDNN 会花时间遍历多种卷积算法（如 FFT、Winograd、implicit GEMM），选出当前 shape 下最快的那一个；但如果每次 forward 的 input 尺寸都不同（比如变长序列、动态 batch、多尺度训练），benchmark 阶段的耗时会持续叠加，且缓存无法复用，最终拖累整体速度。
常见误用场景包括：
- 使用
torch.nn.utils.rnn.pad_packed_sequence后接卷积，batch 内实际尺寸不一致 - 训练中启用随机裁剪（
RandomResizedCrop）且未固定size参数 - 推理时对任意尺寸图像做单次前向（benchmark 开销远大于收益）
如何安全地启用 benchmark 并避免抖动
核心原则：仅在输入 tensor 的 shape（尤其是 N, C, H, W）长时间不变的前提下启用，并确保模型结构和 device 不变。
实操建议：
- 在训练 loop **之前**、模型和数据加载器就绪后设置：
torch.backends.cudnn.benchmark = True
，而不是在 epoch 循环内反复开关 - 禁用所有会导致 shape 变化的增强（如
RandomCrop改为CenterCrop），或统一 pad 到固定尺寸 - 若需支持多尺寸（如检测中的 multi-scale test），应在每个尺寸首次运行时单独 warm up 一次，例如：
for size in [640, 800, 1024]:<br> x = torch.randn(1, 3, size, size, device='cuda')<br> _ = model(x)<br> torch.cuda.synchronize()
，之后再设benchmark=True
对比 benchmark=True 和 benchmark=False 的实际开销
开启 benchmark 后，第一次 forward 通常比关闭时慢 2–5 倍（取决于 kernel size 和硬件），后续才体现优势。可通过 torch.cuda.Event 粗略测量：
macOS UI 自动化技能包 —— 用 Python 控制你的 Mac
下载
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
start = torch.cuda.Event(enable_timing=True)<br>end = torch.cuda.Event(enable_timing=True)<br>start.record()<br>_ = model(x)<br>end.record()<br>torch.cuda.synchronize()<br>print(f"Time: {start.elapsed_time(end):.2f} ms")
注意点：
- 必须调用
torch.cuda.synchronize()才能获得准确计时，否则返回的是启动耗时而非执行耗时 - CuDNN 缓存是 per-process、per-device 的，重启 Python 进程或切换
cuda:0→cuda:1会清空缓存 - PyTorch 2.0+ 对小卷积（如 1×1、3×3）的默认算法已足够优，benchmark 收益明显下降，大 kernel（7×7+）或 depthwise 卷积更受益
替代方案：手动锁定最优算法（进阶控制）
当 benchmark 不可控（如生产环境需确定性延迟），可绕过自动搜索，直接指定 CuDNN 算法：
torch.backends.cudnn.convolution_benchmark = False<br>torch.backends.cudnn.deterministic = True<br># 然后用 cudnn.find_conv2d_forward_algorithm 手动探测一次<br>alg = torch.backends.cudnn.find_conv2d_forward_algorithm(<br> input=x, weight=w, bias=None,<br> stride=1, padding=0, dilation=1, groups=1<br>)
但要注意：
-
find_conv2d_forward_algorithm返回的是整数 ID，需传给torch._C._cudnn_convolution_forward等底层接口，普通用户极少需要 - 该 ID 与 driver/cuDNN 版本强绑定，升级后可能失效
- 绝大多数场景下，老老实实固定输入尺寸 + 开 benchmark，比手动干预更稳妥
真正关键的不是开或不开，而是理解你的输入是否“够稳”——形状抖动比少开一个 flag 更伤性能。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
