序列推荐模型DIN在Python中如何构建_基于TargetAttention挖掘用户历史行为兴趣-Python教程-PHP中文网

不能直接套用nlp的selfattention，因din需targetattention：仅单向query→keys聚焦，须显式对齐维度、加padding mask、拼接query-key特征后过mlp生成权重，且需针对稀疏/高相似序列设计fallback与归一化策略。

序列推荐模型din在python中如何构建_基于targetattention挖掘用户历史行为兴趣

直接用 TargetAttention 层替代传统 SumPooling，就能让模型对每个候选 item 动态聚焦相关历史行为——但权重崩坏、稀疏失效、特征耦合这三类问题，不提前干预，上线后指标必掉。

DIN 的核心是 TargetAttention，不是 SelfAttention。前者只让用户行为序列（keys）向当前候选 item（query）单向“看”，后者会让所有行为互相“看”。在推荐场景中，用户点击球鞋和浏览口红之间本无时序依赖，强行建模内部关系反而引入噪声。

输入维度错配：NLP 中 query/key 通常同维；DIN 中 query 是 target item embedding，keys 是用户行为 embedding，二者可能来自不同 embedding 表，需显式对齐或变换
缺失 padding mask：用户行为序列长度不一，必须用 mask 屏蔽 padding 位置的 attention 权重，否则 softmax 会把无效位置分走概率
无 query-key 交互增强：原始 SelfAttention 只算内积；DIN 论文中关键改进是拼接 [query, key, query - key, query * key] 再过 MLP，保留差异与共性信号

别直接写 torch.nn.MultiheadAttention——它默认做 SelfAttention，且不支持 query-key 特征拼接。应手写一个轻量 nn.Module：

python 查询技能

查询客流数据，输出JSON格式，可直接导入Bitable等可视化工具

下载

输入必须含 keys_length（每个样本的真实序列长度），用于生成 mask：用 torch.arange(seq_len) 与 keys_length.unsqueeze(1) 比较，得到 bool mask 矩阵
权重计算推荐用 DIN 原论文的 MLP 方式：torch.cat([query, keys, query - keys, query * keys], dim=-1) → self.mlp → softmax，比单纯点积更鲁棒
输出是加权和：torch.sum(weights.unsqueeze(-1) * values, dim=1)，注意 values 通常等于 keys，但留出接口便于后续替换（如接入 GRU 输出）
初始化 mlp 最后一层 bias 为 0，避免初始权重均匀分布；训练初期用 tf.print 或 torch.histc 监控 weights 分布：均值应在 0.3–0.7，方差 > 0.1

新用户只有 2–3 次点击，或某用户连续刷了 10 条同款手机视频，TargetAttention 容易输出退化权重（全 0.1 或单峰尖刺），这不是 bug，是机制局限。

对低频用户：在 embedding 层前加 fallback 逻辑——若 keys_length ，跳过 attention，直接用 <code>MeanPooling + 小幅度 dropout，避免权重乱跳
对高相似序列：在 MLP 输入前加入 LayerNorm，抑制 query * key 项因 embedding 过于接近导致的数值饱和
硬约束可选：对 softmax 输出加 temperature 调节（如除以 0.5），但会削弱区分度；更稳妥的是在 loss 中加辅助项：鼓励 top-3 权重之和 ≥ 0.6
别忽略 query 质量：target item embedding 若未 fine-tune（比如直接用预训练 ID embedding），query 表达能力弱，attention 必然失效——建议至少 joint train item tower

TF SavedModel 导出后线上 infer 时，常出现权重全为 0 或 nan，90% 源于动态 shape 处理不当。

keys 输入必须声明 shape=[None, None, embedding_dim]，不能写死 seq_len；否则 batch 内不同长度样本会被 pad 到同一长度，mask 逻辑错位
tf.nn.softmax 在 axis=-1 上操作时，若未 mask，padding 位置参与归一化——务必用 tf.where(mask, scores, -1e9) 替换负无穷，避免 FP16 下 inf 溢出
自定义 call 方法中，禁止用 tf.print 输出中间 tensor（影响图模式构建）；调试用 tf.debugging.assert_all_finite 检查 scores 和 weights
线上服务时，batch size 变化会导致 keys 第二维动态变化，Keras Model 需设 jit_compile=False，否则 XLA 编译失败