pytorch rnn的hidden状态不会自动重置，需手动初始化；传入hidden后生命周期由用户负责，否则会导致批次间状态泄漏；训练分类任务时每个样本前须重置为全零，语言建模可跨片段传递；init_hidden应使用weight.new_zeros保证设备与类型一致；截断bptt时用detach()切断梯度但保留状态。
PyTorch RNN的hidden状态默认不会自动重置
PyTorch的nn.RNN、nn.LSTM、nn.GRU在前向传播时，若不显式传入hidden，会用全零初始化；但**一旦你传了hidden，它就完全由你负责生命周期**——模型不会帮你“在序列结束时清空”或“在新样本开始时重置”。这导致常见问题：训练时上一批次的hidden泄漏到下一批，尤其在变长序列或非连续批次中，模型学到虚假时序依赖。
实操建议：
- 对每个新样本（或新序列），必须手动重置
hidden为初始值（如全零） - 不要复用上一轮
output后的hidden直接喂给下一轮，除非你明确在做连续文本生成这类任务 - 如果用
DataLoader且batch_size > 1，注意hidden形状是(num_layers * num_directions, batch_size, hidden_size)，重置时要匹配batch_size当前实际大小（尤其启用drop_last=False时末尾批次可能更小）
手动重置hidden的三种典型场景
不是所有情况都要重置，关键看语义是否“序列独立”。比如同一批内不同样本之间绝不能共享hidden；而同一个长文档分块训练时，可能希望跨块传递hidden。
常见做法：
-
分类任务（如情感分析）：每个样本是独立序列，每次
forward前调用model.init_hidden(batch_size)（需自己实现该方法，返回全零hidden） -
语言建模（单文档流式训练）：一个长序列被切成多个
seq_len片段，仅在文档开头重置，中间片段用上一片段的最终hidden作为输入 -
推理时逐token生成：首次用全零
hidden，之后每步都用上一步输出的hidden，不重置
错误现象：RuntimeError: Expected hidden[0] size (2, 32, 128), got (2, 31, 128)——因为没适配实际batch_size，直接复用了上轮hidden。
init_hidden()怎么写才安全
别直接在forward里写torch.zeros(...)，容易漏掉设备（CPU/GPU）和数据类型（float32）对齐。最稳妥是绑定到模型实例，并读取self.weight_ih_l0等参数的device和dtype。
示例（LSTM）：
def init_hidden(self, batch_size):
weight = next(self.parameters())
h0 = weight.new_zeros(self.num_layers * self.num_directions,
batch_size, self.hidden_size)
c0 = weight.new_zeros(self.num_layers * self.num_directions,
batch_size, self.hidden_size)
return (h0, c0)
注意点：
- 用
weight.new_zeros()而非torch.zeros().to(weight.device)，避免多卡DDP下device误判 - LSTM返回
(h0, c0)二元组，RNN/GRU只返回h0；别传错类型 - 如果模型用了
packed_sequence，hidden仍按原始batch_size初始化，无需按pack_padded_sequence后的长度调整
用detach()切断历史梯度但保留状态
训练长序列时，为防梯度爆炸或显存溢出，常需截断BPTT（Backpropagation Through Time）。这时不能简单丢弃hidden，而要保留其值用于下一次计算，但不让梯度回传到更早步骤。
正确操作：
- 在截断点，对
hidden调用.detach()，再传给下一轮forward - 错误写法：
hidden = hidden.detach_()（原地修改会破坏当前计算图），应写hidden = hidden.detach() - 如果是LSTM元组：
h, c = h.detach(), c.detach()，别只 detach 其中一个
性能影响：不detach()会导致反向传播追溯整个历史，显存和时间开销线性增长；但过度截断又损害长期依赖学习——这个平衡点得按任务调，没有通用值。
容易被忽略的是：即使你用了detach()，hidden本身的数值仍是连续的，所以“状态延续”逻辑还在；只是梯度被切掉了。这点常被当成“重置”来用，其实完全相反。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
