pytorch模型热加载必须绕开torch.load()默认行为：需显式指定map_location、用strict=false加载、手动校验键名匹配、重置bn缓冲区并加文件锁防竞态。
PyTorch模型热加载必须绕开 torch.load() 的默认行为
直接用 torch.load() 加载新权重到正在运行的模型上，大概率触发 RuntimeError: unable to open file 或静默覆盖导致推理异常——因为 PyTorch 默认会把模型参数绑定到原始设备（如 cuda:0），而热更新时目标模型可能在不同 GPU 或已迁移至 CPU。真正可行的做法是：先用 map_location 显式指定设备，再用 load_state_dict(..., strict=False) 控制兼容性。
- 始终传入
map_location，哪怕只是map_location="cpu"，避免设备冲突 -
strict=False允许新增/删除部分层（比如在线加一个 dropout 层），但需自己校验关键层是否缺失 - 加载后调用
model.to(device)统一迁移，而不是依赖torch.load自动识别
用 torch.nn.Module.load_state_dict() 做增量更新要小心键名匹配
热插拔不是“替换整个模型”，而是复用已有结构、只更新部分参数。这时如果新 checkpoint 的 state_dict 键名和当前模型不一致（比如加了前缀 module.、或用了 DDP 包装），load_state_dict() 会直接报错或跳过所有参数。
- 检查键名差异：打印
list(model.state_dict().keys())和list(checkpoint.keys())对比 - 常见修复方式：
{k.replace("module.", ""): v for k, v in checkpoint.items()}或{k[7:]: v for k, v in checkpoint.items() if k.startswith("module.")} - 若仅需更新某几层（如 classifier），可手动赋值：
model.classifier.load_state_dict(checkpoint["classifier"])
在线更新时模型状态（training / eval）和 BN 层会出问题
热加载后立刻做推理，可能发现输出不稳定甚至 NaN——尤其当模型含 BatchNorm2d 或 Dropout。这是因为 load_state_dict() 不重置 running_mean、running_var 等缓冲区，也不改变模型的 training 模式标志位。
- 加载后显式调用
model.eval()或model.train()，确保模式与使用场景一致 - BN 缓冲区若需重置（例如新模型带全新统计量），得手动清空：
for m in model.modules():+if isinstance(m, torch.nn.BatchNorm2d): m.reset_running_stats() - 更稳妥的做法：热更新后做少量 warmup 推理（如 10 batch），让 BN 缓冲区自然收敛
文件锁和并发读写是生产环境最常被忽略的坑
多个 worker 同时监听同一个模型文件并尝试 torch.load()，容易触发 OSError: [Errno 13] Permission denied 或读到截断/损坏的 checkpoint——尤其在 NFS 或某些云存储上。
- 不要轮询文件修改时间，改用原子写入：新模型先写到临时路径（如
model.pt.tmp），再os.replace()覆盖原文件 - 加载前加文件锁（
flock）或进程级锁（threading.Lock），防止多线程并发读同一文件 - 推荐用版本号控制：模型文件名带哈希（如
model_v2.1.4-abc123.pt），服务端维护当前版本指针，避免竞态
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
