知识蒸馏中，教师与学生模型输出层必须均为无激活的logits；教师需设training=false以稳定输出；kl损失须配合温度缩放，手动实现log_softmax/softmax；学生部署前应剥离蒸馏冗余结构。
知识蒸馏时，tf.keras.Model 的输出层必须匹配教师和学生模型的 logits 维度
学生模型不能简单复用教师模型的 softmax 输出层——蒸馏依赖的是未归一化的 logits（即 dense 层直出），因为 KL 散度损失对温度缩放敏感，而 softmax 会破坏梯度传播路径。常见错误是学生模型最后一层用 activation='softmax'，导致 tf.keras.losses.KLDivergence() 计算失效。
- 教师模型保持原结构，但推理时需禁用 dropout 和 batch norm 的训练模式：
teacher(x, training=False) - 学生模型最后一层**必须移除 activation**，例如：
tf.keras.layers.Dense(num_classes, activation=None) - 若教师输出带 softmax（如加载了已训练好的 .h5 文件），需重新提取倒数第二层输出，或用
tf.keras.Model重封装 logits 层
KL 散度损失要配合温度缩放，且需手动归一化 logits
直接对原始 logits 计算 KL 散度会导致梯度爆炸，必须引入温度参数 T 进行软化。TensorFlow 原生 tf.keras.losses.KLDivergence 不内置温度处理，得自己写带 logits / T 和 softmax 的逻辑。
- 正确做法：用
tf.nn.log_softmax(logits_student / T)和tf.nn.softmax(logits_teacher / T)构造 KL 项 - 温度
T通常取 3–20；T=1等价于普通交叉熵，失去蒸馏意义 - 注意：KL 损失只作用于 logits，**不能**在学生模型里加 softmax 后再喂给
KLDivergence，否则数值不稳定 - 完整损失 =
alpha * KL_loss + (1 - alpha) * student_ce_loss，其中student_ce_loss是学生对真实标签的交叉熵
训练循环中，教师模型必须设为不可训练且固定 batch norm 状态
哪怕只是 inference，如果教师模型含 BatchNormalization 或 Dropout 层，默认 training=True 会导致输出波动，蒸馏信号失真。TensorFlow 2.x 默认 eager 模式下，这点极易被忽略。
- 务必显式调用：
teacher(x, training=False)，不能只靠teacher.trainable = False -
teacher.trainable = False只冻结权重更新，不改变 BN 层行为；BN 在training=True时仍用 batch 统计，这会让教师输出随 batch 变化 - 验证方式：对同一输入连续两次调用
teacher(x, training=False)，输出应完全一致；若不一致，说明仍有层没控制好训练状态
轻量化学生模型部署前，记得剥离蒸馏专用结构
蒸馏训练完的学生模型常包含冗余逻辑：比如为了方便计算 KL 而保留的中间 logits 分支、温度缩放系数、甚至教师模型引用。这些不参与推理，却增大模型体积、拖慢加载速度。
- 导出前用
tf.keras.models.clone_model(student)新建干净模型，仅保留主干 + 最后无激活 dense 层 - 避免保存整个训练函数或自定义 loss 类；用
model.save('student.h5', include_optimizer=False) - 移动端或 TFLite 转换时，确认输入/输出 signature 不含 teacher 相关 tensor；可用
tf.saved_model.load后检查concrete_functions签名
真正难的不是写蒸馏代码，而是让教师输出稳定、学生 logits 可微、KL 梯度不溢出——这三个点卡住多数人。温度值和 alpha 权重没标准答案，得结合验证集准确率和 student 推理延时一起调。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
