知识蒸馏损失函数需加权组合KL散度（学生/教师logits同除温度T后计算）与交叉熵损失，T²补偿梯度衰减；教师模型须eval()并no_grad()推理，输入需与学生完全一致；准确率下降常因教师性能弱或训练节奏不当。
PyTorch里怎么写知识蒸馏的损失函数？
知识蒸馏的核心不是模型结构，而是损失设计：它要同时拉近学生模型输出和教师模型软标签之间的距离，还要保留学生对真实标签的学习能力。最常用的是加权组合 KL散度（对软目标） + CrossEntropyLoss（对硬标签）。注意温度 T 必须在教师和学生 logits 上同步缩放，否则 KL 会爆炸。
常见错误是只对教师 logits 除以 T，而学生没除——这会导致梯度尺度不一致、训练不稳定。正确做法是两者都除，并在 KL 前用 F.log_softmax 和 F.softmax 配对：
import torch.nn.functional as F <p>def kd_loss(student_logits, teacher_logits, labels, T=4.0, alpha=0.7): soft_loss = F.kl_div( F.log_softmax(student_logits / T, dim=1), F.softmax(teacher_logits / T, dim=1), reduction='batchmean' ) <em> (T </em> T) hard_loss = F.cross_entropy(student_logits, labels) return alpha <em> soft_loss + (1 - alpha) </em> hard_loss</p>
-
T通常取 2–10，T=1退化为普通 CE；T越大，软标签越平滑，但梯度越小，需调大学习率 -
alpha控制蒸馏强度，0.5–0.9 常见；太小则蒸馏无效，太大则忽略真实标签 - KL 散度前乘
T * T是为了补偿 log_softmax 中除以T导致的梯度衰减，保持梯度量级稳定
怎么安全地获取教师模型的 logits 而不影响学生训练？
教师模型必须设为 eval() 模式且不计算梯度，否则会拖慢训练、显存暴涨，甚至反向传播污染教师参数。常见错误是忘了 torch.no_grad() 或漏掉 model.eval()。
实操中建议封装一个推理函数，避免每次手写重复逻辑：
def get_teacher_logits(teacher_model, x, device):
teacher_model.eval()
with torch.no_grad():
x = x.to(device)
return teacher_model(x).detach() # .detach() 确保无梯度依赖
- 必须调用
teacher_model.eval()，否则 BatchNorm / Dropout 行为与训练时不一致，软标签不可靠 -
.detach()不是可选的——如果直接返回teacher_model(x)，其计算图仍挂在 student 的 loss 上，导致显存泄漏 - 教师和学生输入必须完全一致（包括数据增强方式），否则软标签噪声过大，蒸馏反而负向
为什么蒸馏后学生准确率反而下降？
这不是代码 bug，而是典型蒸馏失败信号，原因往往不在损失函数本身，而在训练节奏或数据匹配上。
- 教师模型性能太弱（如 Top-1
- 学生模型容量严重不足（如用 ResNet-18 蒸馏 ResNet-50 教师），即使损失下降，泛化也会崩；可先验证学生单独训到 baseline 再蒸馏
- 学习率没重调：蒸馏引入额外 KL 项，梯度方向改变，原学习率常偏大，推荐从 0.01 或 0.005 起调，配合 warmup
- 没关掉教师的 BN 统计更新：即使
eval()，某些自定义模块可能仍更新 running_mean/var，导致软标签漂移
要不要用额外的中间层特征做蒸馏？
标准 KL on logits 已能解决大部分场景；加特征蒸馏（如 AT、FitNets、PKD）属于进阶优化，收益有限但复杂度明显上升。
如果你已卡在 KD baseline 上无法提升，再考虑特征对齐。此时关键不是“用哪个方法”，而是“对齐哪一层”：
- 不要对最后一层 FC 做 MSE——logits 本身已由 KL 约束，冗余且易过拟合
- 优先试倒数第二层（如 ResNet 的全局平均池化前）的特征图，用
F.mse_loss或F.l1_loss，记得归一化尺寸（插值 or 自适应池化） - 特征损失权重通常远小于 logits 损失（如 0.001–0.01），否则主导训练，学生变成教师特征的低维投影，丧失判别力
真正容易被忽略的是：蒸馏不是“教师越强越好”，而是“教师输出分布越适合学生拟合越好”。有时候一个轻量教师（如 MobileNetV2）配合适当温度，比巨无霸教师更有效——因为它的软标签更“干净”，噪声更低。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
