应优先复用tf.keras.layers.multiheadattention等官方组件，避免手写导致mask逻辑错误、layer_norm顺序错误等问题；positionalencoding需用tf.variable实现可训练与动态切片；decoder cross-attention必须传入encoder_padding_mask。
直接用 TensorFlow 从零写一个标准 Transformer 是可行的，但不推荐——除非你明确在做模型结构研究或教学推演。生产或快速实验场景下，应优先复用 tf.keras.layers.MultiHeadAttention 和官方封装好的组件，避免手动实现 positional_encoding、layer_norm 顺序错误、mask 逻辑错位等高频翻车点。
为什么别手写 MultiHeadAttention 层
TensorFlow 2.8+ 的 tf.keras.layers.MultiHeadAttention 已内置 attention_mask 支持、可学习的缩放因子、QKV 线性投影合并优化，并与 tf.function 兼容良好。手写容易漏掉 causal_mask 的 tf.linalg.band_part 构造逻辑，或在 batch_size=1 时因维度 squeeze 错误导致训练崩溃。
实操建议：
- 用
MultiHeadAttention时显式传入causal=True实现解码器自回归掩码，不要自己写tf.linalg.band_part - 若需自定义 attention 权重（如加入实体 bias），继承该层并重载
_compute_attention，而非重写整个前向 - 注意
return_attention_scores=True会额外返回权重张量，增加显存占用，仅调试时开启
PositionalEncoding 层必须用 tf.Variable 而非 tf.constant
位置编码若用 tf.constant 初始化，在 tf.function 追踪中会被视为静态图常量，无法适配不同序列长度输入；而训练中又可能需要微调位置嵌入（如 Longformer 变体）。正确做法是将其定义为可训练 tf.Variable，并在 call 中按需切片。
示例关键片段：
使用 font_manager.addfont() 添加中文字体文件，设置 rcParams['font.family']，并禁用 unicode_minus，使 matplotlib 显示中文。
class PositionalEncoding(tf.keras.layers.Layer):
def __init__(self, d_model, max_len=5000):
super().__init__()
self.pos_enc = self.add_weight(
shape=(max_len, d_model),
initializer='random_normal',
trainable=True,
name='pos_enc'
)
def call(self, x):
seq_len = tf.shape(x)[1]
return x + self.pos_enc[:seq_len]
常见错误：把 self.pos_enc 声明在 __init__ 外，或用 tf.range 动态生成——这会导致每次 call 都重新计算，破坏图执行效率。
Decoder 的 cross_attention mask 容易漏掉 encoder_padding_mask
标准 Transformer 解码器有两层 attention：masked self-attention（带 causal mask）和 cross-attention（对 encoder 输出）。后者必须同时接收 encoder_padding_mask（形状为 [batch, 1, 1, enc_seq_len]），否则 padding 位置会参与注意力计算，污染梯度。
实操要点：
- encoder 输出后，用
tf.cast(tf.math.not_equal(encoder_input, 0), tf.float32)构造 padding mask - 传入 decoder 的
cross_attention层时，参数名必须是attention_mask，不是mask或padding_mask - 若 encoder 使用了
tf.keras.layers.Embedding(mask_zero=True)，可直接用encoder_layer.compute_mask()提取 mask
真正难的不是搭出结构，而是让 mask 对齐、梯度流经所有路径、且 batch 维度在各子层间不意外坍缩——这些细节在 tf.keras.Model 子类化时极易出错，建议先跑通 tf.keras.layers.TransformerEncoder 和 TransformerDecoder 的最小实例，再逐步替换自定义层。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
