optuna是pytorch超参优化的首选工具，因其轻量、易嵌入、支持贝叶斯优化与剪枝机制；关键三步是封装目标函数、创建study、定义搜索空间；需注意每次trial新建模型和dataloader、指定device、设置随机种子、主动report指标，且batch_size和num_workers不宜参与搜索。
PyTorch 里没内置超参搜索，得靠第三方库搭桥
PyTorch 本身不提供类似 GridSearchCV 或 fit() 那样的超参搜索接口，直接写循环调用 train() 容易失控：手动管理配置、显存泄漏、结果难汇总。必须借助 torch.optim 之外的工具链，主流选型是 optuna 或 ray.tune——前者轻量易嵌入，后者适合多机分布式但依赖重。
用 Optuna + PyTorch 写搜索脚本的关键三步
核心是把训练逻辑封装成目标函数，让 optuna.study.create_study() 调用它。容易漏掉的细节比想象中多：
- 每次 trial 必须新建模型和 dataloader 实例，不能复用全局对象——否则权重/缓存污染导致指标不可比
-
device要在 trial 内部指定（如torch.device("cuda:0")），避免多个 trial 争抢同一张卡 - 记得在训练前加
torch.manual_seed(trial.number)，否则不同 trial 的随机性不可控，loss 波动大到无法判断超参影响 - 验证集指标必须用
trial.report()主动上报，否则 pruner（如MedianPruner）没法提前终止烂 trial
示例片段：
def objective(trial):
lr = trial.suggest_float("lr", 1e-5, 1e-2, log=True)
dropout = trial.suggest_float("dropout", 0.1, 0.5)
model = MyNet(dropout=dropout)
optimizer = torch.optim.Adam(model.parameters(), lr=lr)
# ... 训练循环
return val_loss # 返回标量，Optuna 自动最小化
batch_size 和 num_workers 别放进 search space
这两个参数和其他超参性质不同：它们直接影响 GPU 显存占用和数据加载吞吐，但不改变模型表达能力。强行搜索容易触发 CUDA out of memory 或 DataLoader worker exited unexpectedly，反而掩盖真实超参效果。
-
batch_size应该先单独测试最大安全值（比如从 16→32→64 试到 OOM），固定后再搜 lr、weight_decay 等 -
num_workers取决于 CPU 核数和磁盘 IO，一般设为min(8, os.cpu_count())即可，无需参与优化 - 真正该搜的是
lr、weight_decay、dropout、hidden_dim这类直接影响梯度更新和模型容量的参数
搜索后怎么拿最优配置跑最终训练？
study.best_trial 返回的是最优 trial 对象，它的 params 是 dict，但不能直接喂给模型构造函数——比如 model = Net(**study.best_trial.params) 会失败，因为 params 里可能混着非模型参数（如 "lr"）。
- 安全做法是显式提取：
best_dropout = study.best_trial.params["dropout"]，再传给模型 - optimizer 参数要单独组装：
Adam(model.parameters(), lr=study.best_trial.params["lr"]) - 别忘了用
study.best_trial.value检查这个最优值是否合理——如果比随机 baseline 还差，大概率是 objective 函数写错了或数据泄露
真正的麻烦往往藏在数据预处理一致性上：搜索时用的 transform 和最终训练必须完全一致，哪怕只是 RandomHorizontalFlip(p=0.5) 里少了个 p，结果就不可复现。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
