masked_fill不能填none或np.nan，因要求标量且dtype匹配；填none报typeerror，np.nan因dtype不匹配报runtimeerror；应使用float('nan')或torch.tensor(float('nan'), dtype=x.dtype)。
masked_fill 为什么不能直接填 None 或 np.nan
PyTorch 的 masked_fill 要求填充值必须是标量（scalar），且类型需与 tensor 一致。传 None 会报 TypeError: masked_fill(): argument 'value' must be Number, not NoneType；传 np.nan 则因 dtype 不匹配（比如 float32 tensor 不能接受 np.float64 的 nan）而触发 RuntimeError: value cannot be converted to type float without overflow。
正确做法是显式指定同 dtype 的 nan 值：
import torch
x = torch.tensor([1., 2., 3., 4.])
mask = torch.tensor([True, False, True, False])
x.masked_fill(mask, float('nan')) # ✅ OK，float('nan') 自动转为 tensor 同 dtype
# 或更稳妥：x.masked_fill(mask, torch.tensor(float('nan'), dtype=x.dtype))
如何用 masked_fill 过滤 padding 符号（如 0 或 <pad></pad> ID）
常见于 NLP 中对变长序列做 attention mask 后，把 padding 位置的 logits 设为负无穷，使 softmax 忽略它们。注意：不是“删除”，而是“屏蔽影响”。
- mask 应为布尔型，
True表示要覆盖的位置（即无效位置） - 填充值通常选
float('-inf')（用于 logits）、0.0（用于权重归一化前的中间结果）或特定占位符（如-100用于 CrossEntropyLoss 的 ignore_index） - 务必确认 mask shape 与 tensor 可广播（broadcastable）；若 tensor 是 2D
[B, T]，mask 是 1D[T]，需扩展为[1, T]或用unsqueeze(0)
logits = torch.randn(2, 5) # [batch, seq_len]
attn_mask = torch.tensor([1, 1, 1, 0, 0]) == 0 # padding positions → True
logits.masked_fill(attn_mask.unsqueeze(0), float('-inf'))
masked_fill 和 masked_select 的关键区别在哪
masked_fill 是原地/返回新 tensor 的“覆盖”操作，shape 不变；masked_select 是“抽取”，返回一维 flat tensor，shape 必然改变 —— 它不适用于需要保持 batch 结构的过滤任务。
- 想把 padding 位置设为
-inf以供后续 softmax？用masked_fill - 想只取每个样本中非 padding 的 token embedding 拼成一个长向量？才用
masked_select -
masked_fill支持 in-place（加_后缀），masked_select永远返回新 tensor - 二者 mask 都必须是
torch.bool；若你只有 0/1 int mask，记得先转.bool()
在 DataLoader 中动态生成 mask 时容易漏掉 device 对齐
如果 tensor 在 GPU 上，但 mask 是 CPU 创建的（比如用 torch.ones 直接生成再比较），masked_fill 会报错：expected self and mask to be on the same device。
安全写法是让 mask 跟 tensor 同 device：
device = logits.device
# ❌ 错误：mask 默认在 CPU
# mask = (seq_lens == 0)
# ✅ 正确：显式指定 device
mask = (seq_lens == 0).to(device)
logits.masked_fill(mask.unsqueeze(-1), float('-inf'))
更隐蔽的问题是：混合使用 torch.where 和 masked_fill 时，where 返回的 bool tensor 可能继承错误 device，建议统一用 .to(logits.device) 显式对齐。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
