SimCLR特征提取必须冻结encoder参数且设model.encoder.eval()并用torch.no_grad()包裹，否则BN层统计量漂移导致特征不稳定；encoder输出才是下游可用特征，需跳过projection head。
SimCLR特征提取必须冻结encoder参数，否则训练不收敛
直接用PyTorch加载SimCLR预训练模型后调用 model.encoder 提取特征时，如果没设 model.eval() 和 torch.no_grad()，或者 encoder 仍处于训练模式，BN层统计量会漂移，输出特征不稳定。更关键的是：官方 SimCLR 实现中，encoder 是单独的 ResNet 模块，但其 BN 层默认是 track_running_stats=True —— 在推理时若未设 eval()，会持续更新 running_mean/running_var，导致同一批数据多次前向结果不一致。
- 务必在推理前调用
model.encoder.eval() - 用
with torch.no_grad():包裹前向过程 - 不要直接对
model调用eval()，因为 SimCLR 模型通常含 projection head，它在特征提取阶段应被跳过 - 若从头训练 SimCLR，encoder 的 BN 必须设为
track_running_stats=False或使用 SyncBN，否则多卡训练时统计量不准
加载官方 SimCLR checkpoint 时，key 名不匹配是常态
PyTorch 官方不提供 SimCLR 预训练权重，主流来源是 lightly、ssl-benchmark 或作者开源的 TensorFlow 版本转 PyTorch。这些 checkpoint 的 state_dict key 往往带前缀（如 backbone.、encoder.、resnet.），而你本地 ResNet 实例的 key 是裸的（如 layer1.0.conv1.weight）。直接 load_state_dict() 会报 Missing key 或 Unexpected key 错误。
- 先用
print(list(checkpoint.keys()))查看 checkpoint 结构 - 若 key 含前缀
backbone.，用{k.replace("backbone.", ""): v for k, v in checkpoint.items()}清洗 - 若用
lightly.models.SimCLR，它的backbone就是 encoder，可直接传给torchvision.models.resnet50(pretrained=False)后 load - 注意输入尺寸：SimCLR 训练用 224×224，但部分 checkpoint 对应 32×32（CIFAR），resize 错误会导致特征图尺寸异常
SimCLR 的 encoder 输出不是最终特征，需去掉 projection head
SimCLR 模型结构是 encoder → projection head，其中 projection head（通常是 2–3 层 MLP）只用于对比损失计算，**真正用于下游任务的特征是 encoder 的输出**，即 ResNet 的 avgpool → flatten 后的 2048 维向量（以 resnet50 为例）。若误把 model(x) 全链路输出当特征，得到的是 128 维（或其它 projection 维度）的归一化向量，语义信息已压缩失真，不适合 KNN 分类或线性 probe。
让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限
- 正确做法：
features = model.encoder(x)，确保model.encoder返回的是全局平均池化后的向量（不是 feature map） - 若 encoder 输出是 4D tensor（如
[B, C, H, W]），手动加F.adaptive_avg_pool2d(x, (1,1)).flatten(1) - Lightly 库的
SimCLR模型中，backbone默认不带 pool+flatten；需自己补全或改用lightly.models.ResNetGenerator("resnet-50") - 输出特征无需再做 L2 归一化——SimCLR 训练时 projection head 输入已归一化，但 encoder 原始输出未归一化，下游任务应自行决定是否归一化
batch size 过小会导致特征提取显存浪费且无加速收益
SimCLR encoder（如 resnet50）单张图前向约需 1.2GB 显存（FP32），但实际推理中 batch size=1 时 GPU 利用率极低。然而盲目增大 batch size 也会出问题：某些 checkpoint 在训练时用了大 batch（4096），其 BN 层统计量依赖于该规模，小 batch 推理虽不影响，但大 batch 推理若超出显存，会触发 OOM；更重要的是，PyTorch 的 nn.DataParallel 在 batch size 不被 GPU 数整除时会产生 padding，造成隐式性能损耗。
- 推荐 batch size = 32～64（单卡 V100/A100）；用
torch.cuda.amp.autocast()可降显存 30% 且基本不损精度 - 避免用
DataParallel，改用DistributedDataParallel或单卡推理 - 若需处理上万张图，用
torch.utils.data.DataLoader+pin_memory=True+num_workers≥4预加载，否则 IO 成瓶颈 - 特征保存建议用
torch.save(features, "feats.pt")而非 numpy，保留梯度图元信息（即使不用），后续 debug 更方便
SimCLR 特征提取真正的难点不在代码长度，而在对 checkpoint 来源、BN 行为、head 结构这三者的精确匹配——漏掉任一环节，特征就不可复现。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
