本文详解deit模型微调中“全预测同一类”的典型故障，从数据预处理、学习率设置、输出层适配到训练策略，提供可复现的修复方案与专业级调试建议。
本文详解deit模型微调中“全预测同一类”的典型故障，从数据预处理、学习率设置、输出层适配到训练策略，提供可复现的修复方案与专业级调试建议。
在使用 DeiTForImageClassificationWithTeacher 进行医学影像（如膝骨关节炎X光片）微调时，若模型在测试阶段持续输出同一类别（如全部预测为类别 0），且 logits 值高度一致（如你观察到的 [33.96, 33.27, -31.15, ...]），这并非过拟合或数据不平衡的表象，而是模型未有效学习任务判别能力的明确信号——根本原因往往在于训练配置与模型架构的不匹配，而非算法逻辑错误。
? 核心问题定位与关键修复点
1. 学习率过高：DeiT 对 LR 极其敏感
DeiT（尤其是 distilled 变体）在 ImageNet 上使用 warmup + cosine decay 策略，初始学习率通常设为 5e-4（AdamW）或 1e-4（SGD）。而你代码中使用 lr=0.01（即 1e-2），高出标准值 100 倍，导致梯度爆炸、权重剧烈震荡，模型迅速坍缩至一个退化解（如所有样本激活同一神经元）。
✅ 修复方案：
# ❌ 错误：过大学习率
optimizer = optim.Adam(model.parameters(), lr=0.01) # → 危险！
# ✅ 正确：推荐起始学习率（DeiT-base-distilled）
optimizer = optim.AdamW(model.parameters(), lr=5e-5) # 更稳定
# 或使用分层学习率（推荐）：
optimizer = optim.AdamW([
{'params': model.deit.encoder.parameters(), 'lr': 1e-5}, # 冻结/低速更新主干
{'params': model.classifier.parameters(), 'lr': 1e-3} # 全速更新分类头
], weight_decay=0.05)
2. 输出层未适配：分类头未重置
DeiTForImageClassificationWithTeacher 的默认 num_labels=1000（ImageNet），但你的任务是二分类（num_labels=2）。若未显式修改，模型会沿用原始 1000 维输出层，导致 logits 维度错位、梯度无法正确回传至新任务。
✅ 修复方案（必须！）：
# 加载模型后立即重置分类头
model = DeiTForImageClassificationWithTeacher.from_pretrained(
model_path,
num_labels=2, # ← 关键！指定二分类
ignore_mismatched_sizes=True # 防止权重尺寸不匹配报错
)
# 确保 classifier 层已重建（验证）
print("Classifier layer:", model.classifier) # 应为 Linear(in_features=768, out_features=2)
3. 数据预处理严重失真：灰度图转 RGB 的陷阱
你的 transforms.Grayscale(num_output_channels=3) 将单通道灰度图复制为三通道，但 DeiT 预训练时使用的是 标准 ImageNet 归一化（mean=[0.485,0.456,0.406], std=[0.229,0.224,0.225]）。对复制的灰度图直接应用该归一化，会导致三通道数值完全相同且偏离预期分布，破坏 ViT 的 patch embedding 输入稳定性。
✅ 修复方案：
# ✅ 正确：针对灰度医学影像定制预处理
transform = transforms.Compose([
transforms.Resize((384, 384)), # DeiT-384 要求固定尺寸
transforms.Grayscale(num_output_channels=1), # 保持单通道
transforms.ToTensor(), # → [1, H, W]
transforms.Lambda(lambda x: x.repeat(3, 1, 1)), # 复制为3通道（非Grayscale）
transforms.Normalize( # 使用ImageNet均值标准差
mean=[0.485, 0.456, 0.406],
std=[0.229, 0.224, 0.225]
)
])
4. 缺少关键训练组件：学习率调度与梯度裁剪
DeiT 微调需配合 warmup（前10% epoch）和余弦退火，避免早期训练不稳定；同时梯度裁剪（max_norm=1.0）可防止梯度爆炸。
✅ 增强训练循环：
from torch.optim.lr_scheduler import CosineAnnealingWarmRestarts
scheduler = CosineAnnealingWarmRestarts(optimizer, T_0=5, T_mult=2)
scaler = torch.cuda.amp.GradScaler() # 混合精度训练加速收敛
for epoch in range(num_epochs):
model.train()
for batch_idx, (data, targets) in enumerate(train_loader):
data, targets = data.to(device), targets.to(device)
optimizer.zero_grad()
with torch.cuda.amp.autocast(): # 混合精度
outputs = model(data)
loss = criterion(outputs.logits, targets)
scaler.scale(loss).backward()
scaler.unscale_(optimizer)
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)
scaler.step(optimizer)
scaler.update()
scheduler.step()
? 最佳实践总结
| 问题类型 | 推荐配置 |
|---|---|
| 学习率 |
AdamW: 1e-5（主干） + 1e-3（分类头）；禁用 lr=0.01
|
| 数据归一化 | 必须使用 ImageNet 统计量，灰度图需先 repeat(3,1,1) 再归一化 |
| 分类头 | 加载时强制 num_labels=2，验证 model.classifier.out_features == 2
|
| 训练稳定性 | 启用 GradScaler + clip_grad_norm_ + CosineAnnealingWarmRestarts
|
| 调试技巧 | 训练首 epoch 后检查 model.classifier.weight.grad.norm() 是否 > 0 |
⚠️ 重要提醒：DeiT 的 distilled 版本包含 teacher-student 蒸馏机制，微调时应仅使用
logits（而非distillation_logits） 计算损失，否则会引入蒸馏目标干扰监督学习。你的代码model(data)['logits']是正确的。
遵循以上修正后，模型将快速脱离“单类坍缩”状态，logits 分布将呈现合理差异（如 [2.1, -1.8]），准确率在数个 epoch 内显著提升。微调不是黑箱——精准控制学习率、严守预训练范式、尊重架构特性，才是解锁 DeiT 医学影像潜力的关键。
