hook 是 pytorch 中用于调试模型中间层输入输出或梯度的机制；前向 hook 通过 register_forward_hook 在不破坏计算图的前提下获取某层输出，后向 hook 则需完整 forward+backward 才触发。
Hook 是什么，为什么不能直接 print 层输出
PyTorch 的 nn.Module 在前向传播时默认不保留中间层的输出张量，除非你显式保存（比如用 register_forward_hook）。直接在模型定义里加 print(x) 会破坏计算图、触发梯度异常，甚至让 backward() 失败——因为 print 不是可微操作，且可能把 tensor 转成 Python 数字或 detach 掉。
如何用 register_forward_hook 查看某一层的输入/输出
前向 hook 是最常用的调试手段。它允许你在某层执行完前向计算后（或执行前）拿到输入/输出张量，且不干扰反向传播。
-
hook_fn(module, input, output)：第三个参数output就是该层的输出；input是 tuple，通常取input[0]即主输入 - 必须用
handle = layer.register_forward_hook(hook_fn)注册，返回的handle后续要handle.remove()，否则每次 forward 都会重复触发 - hook 函数内部不要修改
output（如output += 1），否则可能破坏梯度；若真要修改，需用output.clone()或output.detach().clone()
def hook_fn(module, input, output):
print(f"{module.__class__.__name__} output shape: {output.shape}")
# 可选：检查是否含 NaN
if torch.isnan(output).any():
print("⚠️ NaN detected!")
<p>handle = model.layer2.register_forward_hook(hook_fn)
model(x) # 触发 hook
handle.remove() # 记得清理
</p>
想同时看多层输出？别手动注册一堆 hook
手动对每层调用 register_forward_hook 很容易漏掉、难维护，尤其模型结构动态（如 ResNet 的 layer3.1.conv2）时更易出错。
- 推荐遍历
model.named_modules()，按名字匹配目标层，比如只 hook 所有Conv2d或名字含"downsample"的模块 - 用字典缓存输出：
activations["layer2.conv1"] = output，避免 hook 函数里做复杂逻辑 - 注意：hook 是运行时机制，
model.eval()和model.train()下行为不同（比如 BatchNorm、Dropout），调试时务必保持模式一致
Hook 拿不到 grad？试试 register_full_backward_hook
如果需要调试梯度流（比如某层梯度消失/爆炸），register_forward_hook 不够用。PyTorch 1.8+ 推荐用 register_full_backward_hook（旧版用 register_backward_hook，但不保证输入梯度正确）。
- 签名是
hook_fn(module, grad_input, grad_output)，其中grad_output[0]是本层输出对应的梯度（即上层传来的dL/dy） -
grad_input是本层参数和输入的梯度元组，顺序为(dL/dweight, dL/dbias, dL/dx)，具体取决于层类型 - 慎用：在
torch.no_grad()下不会触发；且若 hook 修改了grad_output，会影响后续层梯度计算
最常被忽略的是：hook 注册后模型必须走完整 forward + backward 流程才会触发，只跑 forward 是看不到梯度 hook 的。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
