建议将多个模型按需动态加载到gpu而非全部预载，因显存容量有限易oom；应先用torch.load(..., map_location='cpu')加载至cpu，再根据batch动态调用model.to(device)，并统一输出维度、使用model.eval()和torch.no_grad()确保推理稳定。
PyTorch Ensemble 推理时要不要把多个模型都 load 到 GPU？
不建议全放 GPU，尤其当模型较大或显存有限时。显存会迅速耗尽，反而拖慢推理——GPU 显存带宽高但容量小，CPU 内存大但访问慢，得按需分配。
-
torch.load(..., map_location='cpu')先加载所有模型到 CPU，再根据 batch 动态model.to(device)（比如只把当前 batch 用的模型挪到 GPU） - 若模型结构一致（如多个 ResNet50 变体），可复用同一
device，但必须确保model.eval()和torch.no_grad()成对使用 - 注意：
model.cuda()和model.to('cuda')行为一致，但后者更灵活，支持to('mps')等新后端
如何避免 ensemble forward 时的 tensor shape 不匹配？
不同模型输出维度不一致是常见报错源，比如有的输出 [B, 1000]，有的输出 [B, 10]（类别数不同），直接 stack 必炸。
- 务必在集成前统一输出层：要么用
nn.AdaptiveAvgPool2d((1, 1))+nn.Flatten()规范特征维度，要么在 head 层后加一层nn.Linear(in_features, num_classes)强制对齐 - 检查每个模型的
model(torch.randn(1,3,224,224)).shape，确认最后一维等于目标类别数 - 若用 logits 做加权平均，切忌对 softmax 后结果再 softmax——应先 logit-level 加权，再整体 softmax
用 DataLoader 做 ensemble 推理时 batch_size 怎么设？
不是越大越好。batch 过大会导致单次 forward 占用显存陡增，尤其 ensemble 是 N 倍模型并行计算。
- 实测经验：对 3 个 ViT-B/16 模型 ensemble，
batch_size=8在 24GB GPU 上稳定；batch_size=16就 OOM - 推荐策略：先用
torch.cuda.memory_allocated()测单模型单 batch 显存占用，再乘以模型数 × 1.5（留 buffer），反推最大安全batch_size - 如果数据量小（shuffle=False，用
batch_size=1避免 padding 和 shape 对齐问题
ensemble predict 后怎么加权才不引入额外偏差？
简单平均（uniform weight）常被默认采用，但实际中验证集上的 logit 分布差异很大，硬平均会拉低准确率。
- 权重不能靠“感觉”调：用一小段验证集（比如 5% 数据）跑完所有模型的
logits，用sklearn.calibration.CalibratedClassifierCV或简单 grid search 找最优线性权重 - 警惕过拟合权重：验证集上提升 0.3%，测试集掉 0.5% 很常见——权重维度 = 模型数，样本少时极易 overfit
- 更稳的做法：用
torch.nn.functional.log_softmax(logits, dim=-1)后取均值，再 exp，比直接 softmax 平均数值更稳定
transforms.Compose，也要确认每个模型训练时用的归一化参数（如 ImageNet 的 mean=[0.485,0.456,0.406]）是否完全一致——差一个 channel 顺序或 std 值，ensemble 效果就归零。Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
