直接套用nn.LSTM易崩因未手动控制解码循环及隐状态传递;正确做法是逐步传hidden/cell、训练用teacher forcing、推理自回归,并注意attention维度对齐与context拼接方式。

为什么直接套用 PyTorch 的 nn.LSTM 容易崩在 decoder 步骤?
因为 Seq2Seq 的 decoder 不是简单地把 encoder 最后一个隐状态丢进去就完事——它需要“逐时间步”生成输出,且每一步的输入依赖上一步的预测(训练时可用 teacher forcing,推理时必须自回归)。很多初学者直接用 nn.LSTM 跑一整段 decoder 输入,结果发现 loss 不降、输出全零或 NaN,根本原因是没手动控制解码循环,也没处理好 hidden 和 cell 状态的传递。
正确做法是:encoder 输出的 hidden 和 cell 必须作为初始状态传给 decoder 的第一个时间步;之后每步都要显式取上一步的 hidden/cell 作为下一次输入。别指望 nn.LSTM(input, (h0, c0)) 自动帮你展开时间维度。
- 训练阶段可启用 teacher forcing:用真实目标词(
target[t-1])作为当前步 decoder 输入 - 推理阶段必须用上一步预测的词(
output.argmax(1))嵌入后作为下一步输入 -
nn.LSTM的batch_first=True很方便,但要注意hidden形状仍是(num_layers, batch, hidden_size),需手动 squeeze/unsqueeze 对齐
如何让 attention 机制真正对齐 encoder 和 decoder 的时间步?
标准 Luong attention(dot-product)要求 decoder 当前隐藏态 decoder_hidden(shape: (batch, hidden_size))与所有 encoder 隐藏态 encoder_outputs(shape: (seq_len, batch, hidden_size))做点积。常见错误是维度没对齐导致广播失败,或忘了把 encoder_outputs transpose 成 (batch, seq_len, hidden_size) 再做 torch.bmm。
关键细节:
- attention weights 必须用
torch.softmax(weights, dim=1)沿seq_len维归一化(不是 dim=-1) - context vector =
torch.bmm(attn_weights.unsqueeze(1), encoder_outputs.transpose(0, 1)),注意unsqueeze(1)补 batch 维才能 bmm - 不要在 decoder LSTM 输入里直接拼接 context —— 应该和 embedding 后的输入 concat,再进一个线性层映射回 hidden_size,否则维度爆炸
teacher forcing 比例设成 0.5 就一定合理吗?
不一定。0.5 是常见起点,但实际效果高度依赖数据长度和 task 类型。比如翻译短句(平均长度
建议动态调整策略:
- 训练初期(epoch teacher_forcing_ratio = 0.9,稳住梯度
- 后期线性衰减到 0.3~0.5,逼 decoder 学会纠错
- 完全关掉(0.0)只在验证/测试时做,训练中保持一点 forcing 防止崩溃
- 如果验证 loss 突然上升 + 生成重复 token(如 “the the the…”),大概率是 teacher forcing 关太早或 attention 没学好
PyTorch DataLoader 怎么喂 Seq2Seq 才不丢序列信息?
不能直接用默认 collate_fn —— 它会把不同长度序列 pad 到 batch 内最长,但没返回有效长度(lengths),导致 encoder 无法用 pack_padded_sequence,RNN 计算时会在 padding 位置也更新 hidden,污染状态。
必须自定义 collate:
- 对每个 batch 返回
(src_padded, src_lengths, tgt_padded) -
src_lengths要torch.tensor(...).long(),且按降序排列(pack_padded_sequence要求) - encoder 中先
pack_padded_sequence(src_emb, src_lengths, batch_first=True, enforce_sorted=True),再送 LSTM - decoder 输入不用 pack,但计算 loss 时要 mask padding 位置(用
tgt_mask = tgt != PAD_IDX)
漏掉 enforce_sorted=True 或忘记排序 src_lengths,模型可能不报错但性能显著下降——这个坑很难 debug,因为 loss 看似正常。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











