torch.no_grad() 能减少推理开销，因为它全局关闭 autograd 引擎，跳过计算图构建，从而降低内存占用、提升执行速度；虽非强制，但不用会导致冗余梯度计算和潜在错误。
torch.no_grad() 为什么能减少推理开销？
因为 PyTorch 默认在所有张量运算中构建计算图（用于反向传播），哪怕你只做前向推理。这会额外分配内存、记录梯度依赖关系、维护 autograd 引擎状态——全是推理时不需要的开销。torch.no_grad() 的作用就是全局关闭 autograd 引擎，让 forward 过程跳过计算图构建，从而降低内存占用、提升执行速度。
推理时必须用 torch.no_grad() 吗？
不是“必须”，但不用就等于白跑一整套梯度逻辑。尤其在批量推理或部署场景下，影响明显：
- 模型输出带
requires_grad=True，后续若误参与 loss 计算，可能引发RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn - 显存占用可能多出 20%–50%，取决于模型结构和 batch size
- 小模型（如
nn.Linear(784, 10)）差异不明显；大模型（如 ViT、LSTM 多层堆叠）延迟可下降 10%+
常见误用：嵌套 with 和 model.eval() 的关系
model.eval() 只影响某些层的行为（如 Dropout、BatchNorm），不关 autograd；torch.no_grad() 才真正禁用梯度。两者常一起用，但不能互相替代：
# ✅ 正确：先切 eval 模式，再关梯度
model.eval()
with torch.no_grad():
output = model(x)
<h1>❌ 错误：没关梯度，Dropout 仍可能被关闭但计算图照建</h1><p>model.eval()
output = model(x) # x.requires_grad 默认为 False，但中间 buffer、bn.running_mean 等仍可能触发 grad_fn</p><h1>⚠️ 危险：with torch.no_grad() 里调用 train() 不生效，但模型参数仍可被修改（只是不会记录梯度）</h1><p>with torch.no_grad():
model.train() # 无意义，且容易误导
output = model(x)</p>
哪些地方容易漏掉 torch.no_grad()？
除了主推理循环，以下场景也常被忽略：
- 验证/测试 loop 中的指标计算（如
F.cross_entropy(logits, labels, reduction='none')）——即使不反向，loss 函数内部仍可能建图 - 特征提取（
model.backbone(x)）后做 k-means 或余弦相似度，若输入x带梯度，整个链路仍进 autograd - 使用
torch.jit.trace或torch.compile前未关梯度，会导致 trace 出错或编译结果包含冗余节点 - 自定义
__call__或 forward hook 中做了临时计算（如打印 shape、统计激活值），没包no_grad就可能意外启用 grad
最稳妥的做法：只要确定当前代码块**不参与训练、不需梯度、不打算 backward**，就统一套一层 with torch.no_grad(): —— 多包一层没代价，漏包一次可能卡住显存或拖慢服务响应。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
