simclr成功的关键在于强随机增强配对与nt-xent损失函数：需用同一随机种子生成两个视图，batch内拼接embedding计算相似度，temperature调至0.2可缓解小batch不稳定，projection head不可省略，下游仅用encoder。
SimCLR 的核心不是模型结构，而是数据增强与损失函数组合
SimCLR 能跑通的关键不在 ResNet 选多深，而在于两件事：对同一张图做两次**强随机增强**得到两个视图，再用 NT-Xent loss 拉近它们的表示、推开其他样本。很多人卡在 loss 值不下降，其实是增强没配对——比如用了 RandomHorizontalFlip 却没设相同随机种子，导致两个视图根本不对齐。
实操建议：
- 必须用同一个
torch.Generator控制两次增强的随机性，或直接复用transforms.Compose实例（别每次 new） -
NT-Xent需要 batch 内所有样本的 embedding 拼成大矩阵，再按 (2N, D) shape 计算相似度；别漏掉torch.cat([z_i, z_j], dim=0)这步 - 温度系数
tau默认是 0.1，调高（如 0.2）会软化分布，对小 batch 更友好，但太大会削弱对比信号
PyTorch DataLoader 必须返回成对样本，且 shuffle 要谨慎
标准 DataLoader 返回单样本，SimCLR 要求每个 __getitem__ 返回两个增强视图。常见错误是把增强逻辑写在 dataset 外面，导致两个视图来自不同原图。
实操建议：
- 在自定义
Dataset.__getitem__中对同一张图调用两次增强函数，确保img1和img2同源 - batch size 设为偶数（如 256），因为 loss 计算时会把 batch 拆成前半和后半作为正样本对
- 不要用
sampler=WeightedRandomSampler类非均匀采样器——它破坏了正样本对的连续索引关系，NT-Xent的负样本构造会出错
encoder + projection head 的分离设计不能省略
SimCLR 明确要求：特征提取器（如 ResNet50）输出的 z 必须经过一个可学习的 MLP 投影头（通常 2 层，中间加 ReLU）得到 h，loss 在 h 空间计算。直接拿 z 算 contrastive loss 效果差很多。
实操建议：
- projection head 输出维度建议设为 128 或 256，和 temperature 配合影响梯度尺度
- 训练完后，下游任务只用
encoder（去掉 head），head 的权重丢弃——这是 SimCLR 论文明确指出的 - 如果用
torchvision.models.resnet50(pretrained=True)，记得把最后的fc层换成nn.Identity()，否则输出维度不对
小 batch 下 loss 不稳定？试试 gradient accumulation + lars optimizer
SimCLR 对 batch size 敏感，官方用 4096，但多数人只能跑 256 或更小。这时 NT-Xent 的负样本太少，loss 波动大，甚至发散。
实操建议：
- 用
torch.cuda.amp.GradScaler混合精度 + 梯度累积（如 4 步 accumulate 后optimizer.step()），等效提升 batch size - 换
LARS优化器（lars_pytorch包或 torch 2.0+ 内置），比SGD更稳，尤其在大 weight decay（1e-6）下 - learning rate 按线性缩放：若 batch=256，lr=0.03 × (256/256) = 0.03；若用 grad accum=4，lr 仍为 0.03，不是除以 4
真正难的不是写完代码，而是确认每个正样本对确实来自同一张图、每个负样本索引没越界、temperature 和 lr 的组合没让 softmax 全部饱和。这些地方一错，loss 就安静得像没在学。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
