根本原因是self.weight等未用nn.parameter包装，pytorch只追踪nn.parameter类型的属性；需显式注册参数、避免forward中新建模块、使用torch原生函数维护计算图，并通过named_parameters和grad验证参与训练。
为什么直接继承 nn.Module 却没效果？
常见现象是：类定义了 __init__ 和 forward，但模型训练时梯度不更新、参数不参与计算。根本原因通常是——self.weight 或 self.bias 没有注册为可学习参数。PyTorch 只自动追踪 nn.Parameter 类型的属性，普通 torch.Tensor 不会加入 model.parameters()。
实操建议：
- 所有需学习的张量必须用
nn.Parameter(torch.randn(...))显式包装，不能只写self.weight = torch.randn(...) - 在
__init__中调用super().__init__()（虽然部分版本容忍省略，但 2.0+ 强烈建议保留） - 避免在
forward中新建nn.Linear或nn.Conv2d—— 这些子模块不会被自动注册，参数丢失
forward 方法里哪些操作会破坏计算图？
PyTorch 的自动微分依赖完整的计算图，而某些操作会隐式断开它。典型例子是使用纯 Python 控制流或 NumPy 调用。
常见错误场景：
- 用
if x.sum() > 0:做条件分支 ——x.sum()返回 Python float，梯度中断 - 调用
x.numpy()或x.item()—— 张量转为标量/数组后无法反向传播 - 手动实现激活函数但用了
np.maximum而非F.relu或torch.relu
正确做法：全部用 PyTorch 原生函数，条件逻辑改用 torch.where，例如 torch.where(x > 0, x, torch.zeros_like(x))。
如何验证自定义层真的被模型识别并参与训练？
别只靠 loss 下降判断；要确认参数存在、梯度非空、前向输出形状合理。
关键检查步骤：
- 打印
list(model.named_parameters())，确认你的层名（如'mylayer.weight'）出现在列表中 - 运行一次前向+反向后，检查
model.mylayer.weight.grad是否为非None的torch.Tensor - 用
torch.jit.trace或torch.fx.symbolic_trace简单试跑，看是否报错“not a module”或“no forward method” - 如果层含缓冲区（如 BatchNorm 的
running_mean），记得用self.register_buffer('name', tensor)
要不要在自定义层里调用 nn.functional？
绝大多数情况下应该用 —— 它比实例化 nn.Linear 更轻量、更可控，也避免意外引入未注册的子模块。
对比示例：
# ❌ 错误：创建了未注册的子模块
def forward(self, x):
linear = nn.Linear(10, 5) # 这个 linear 不属于当前 Module
return linear(x)
<h1>✅ 正确：用 functional，权重由 self.weight 管理</h1><p>def forward(self, x):
return F.linear(x, self.weight, self.bias)</p>
注意：F.linear、F.conv2d、F.layer_norm 都接受显式权重参数，适合封装底层计算逻辑。只有当需要复用内置初始化、或依赖其 reset_parameters 时，才考虑组合子模块（此时务必在 __init__ 中赋值给 self.xxx = nn.Xxx(...)）。
最易被忽略的一点：如果你的层在 DataParallel 或 DistributedDataParallel 下使用，确保所有状态（包括缓冲区和 nn.Parameter）都在 __init__ 中一次性声明完成，不要在 forward 中动态增删属性。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
