pytorch中embedding层需在nn.module.__init__中定义，输入必须为torch.long类型；每个离散特征配独立实例，维度建议取√类别数向上取整；初始化推荐xavier_normal_或trunc_normal_；缺失值需设padding_idx，多特征拼接前须统一shape并归一化。
Embedding 层在 PyTorch 中怎么加进模型里？
直接在 nn.Module 的 __init__ 里定义 nn.Embedding，别等 forward 里临时创建。每个离散特征（比如用户 ID、商品类目）对应一个独立的 nn.Embedding 实例，维度要提前定好——太小会撞车，太大浪费显存，常见取值是 sqrt(类别数) 向上取整。
注意：nn.Embedding 输入必须是长整型（torch.long），如果传进来的是 float 或 string，会报 Expected tensor for argument #1 'indices' to have scalar type Long 错误。
- 类别数超百万时，考虑用
nn.EmbeddingBag替代，避免单样本多 ID 拼接后反复查表 - 初始化别用默认 uniform，加个
nn.init.xavier_normal_或截断正态（nn.init.trunc_normal_）更稳 - 训练初期 embedding 更新剧烈，建议对 embedding 参数单独设较小学习率，比如主网络 1e-3，embedding 用 1e-4
如何把多个 sparse 特征的 embedding 拼起来送入 DNN？
不能直接 torch.cat([emb1, emb2, emb3], dim=1) 就完事。真实场景中，有些样本某字段缺失（比如用户没填性别），此时索引可能是 -1 或 0 —— 但 nn.Embedding 默认不处理 padding，查表会越界或返回错误向量。
正确做法：初始化 nn.Embedding 时显式指定 padding_idx=0（假设你把缺失值统一映射为 0），这样索引为 0 的位置会被自动置零，且反向传播时梯度也不更新该行。
- 拼接前确认各 embedding 输出 shape 一致，比如都是
[batch_size, embed_dim]；若某特征是 multi-hot（如用户历史点击的 5 个商品 ID），得先用EmbeddingBag聚合成单向量 - 拼接后维度可能很高（比如 20 个特征 × 16 维 = 320 维），DNN 第一层建议用
BatchNorm1d稳住训练 - 别忘了做特征归一化：dense 数值特征和 embedding 拼接前最好都 z-score 标准化，否则 scale 差异大会拖慢收敛
用 TensorFlow/Keras 实现时 embedding lookup 总报 InvalidArgumentError: indices[0] = -1 is not in [0, 10000)
这是典型的索引越界，Keras 的 Embedding 层默认不接受负索引，也不自动处理缺失值。解决方案只有两个：要么预处理阶段把所有 -1 替换成合法 padding 值（比如 0），并在 Embedding 初始化时设 mask_zero=True；要么改用 tf.keras.layers.IntegerLookup + tf.keras.layers.Embedding 组合，让 lookup 层负责兜底（out-of-vocabulary 映射到固定 index）。
-
mask_zero=True会让索引 0 对应的 embedding 向量被 mask 掉（后续层如 LSTM 自动跳过），但你要确保原始数据里真没有 ID 为 0 的合法实体 - 如果类别 ID 稀疏且跨度大（比如最大 ID 是 1e7，但只用了 1e4 个），别直接开 1e7 行 embedding 表，先用
IntegerLookup做动态 vocabulary 编码 - TF 2.x 默认 eager mode，调试时可直接 print embedding 变量 shape 和部分值，比 PyTorch 更容易定位 lookup 结果是否符合预期
线上 serving 时 embedding 表太大，加载慢甚至 OOM 怎么办？
单机加载千万级 embedding 表（比如 10M × 128 × 4 字节 ≈ 5GB）确实吃力。核心思路是“按需加载”+“分片缓存”，而不是全量驻留内存。
- 用 Redis 或本地 LevelDB 存 embedding 向量，key 是特征 ID，value 是 float32 array；服务启动时不加载全表，只建连接，请求时查库 + LRU 缓存最近 N 个
- 如果用 TF Serving，把 embedding 表拆成多个
SavedModel子图，按业务域（如 user_emb、item_emb）分离，避免一次 load 所有 - 更激进的做法：训练时用 HashedEmbedding（如
torch.nn.Embedding的num_embeddings设远小于实际类别数），靠 hash 冲突容忍损失精度，换来内存减半
真正麻烦的不是 embedding 本身，而是特征 ID 到 embedding 向量的映射链路——任何一环（ID 编码规则、hash 函数、padding 值定义）在线上离线不一致，结果就全错。这个一致性得靠自动化测试卡点，不能靠人眼核对。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
