keras-tuner是比手写itertools.product更可靠的超参优化方案，内置贝叶斯优化、随机搜索和hyperband，支持早停、分布式调度与tf.keras无缝集成，且需注意版本兼容、log采样、重训部署等关键细节。

用 keras_tuner 替代手写网格搜索更可靠

直接写 itertools.product 遍历超参数组合看似简单，但容易漏掉重要约束（比如 learning_rate 必须 > 0）、无法利用历史试验结果、不支持早停和分布式调度。Keras 官方推荐的 keras_tuner 是目前最稳妥的选择——它内置了贝叶斯优化、随机搜索和 Hyperband，且与 tf.keras.Model 无缝集成。

安装只需：

pip install keras-tuner

注意：TensorFlow 2.11+ 用户需搭配 keras-tuner>=1.4，否则会因 tf.keras 和独立 keras 混用报 AttributeError: 'Model' object has no attribute 'output_names' 错误。

• 初始化时指定 overwrite=True，避免复用旧试验目录导致参数错乱
• 用 tuner.search(..., epochs=50, validation_data=...) 而非 fit()，否则回调和日志不会被正确捕获
• 若模型含自定义层或损失函数，必须在 build_model 函数内重新定义，不能依赖外部变量闭包

Hyperband 适合资源有限但想快速筛出好架构的场景

当 GPU 显存紧张或训练单次耗时较长（> 2 分钟），Hyperband 比贝叶斯搜索更实用：它通过提前终止低潜力试验来节省资源。关键在于合理设置 max_epochs 和 factor——前者应略大于你愿意给单次试验的最长 epoch 数，后者控制每轮淘汰比例（默认 3，即每轮保留 top 1/3）。

示例中设 max_epochs=60、factor=3，则第一轮跑 60→20→6→2 个 epoch，共启动约 15 个试验；若设 factor=2，则变成 60→30→15→7→3→1，试验数翻倍但筛选更细。实际中建议先用小数据子集试跑一轮，观察各试验的 val_loss 收敛速度再调整。

python-parallelization

将顺序 Python 代码转换为并行/并发实现，用于在需要并行化 Python 代码、提升性能时使用。

下载

• Hyperband 不需要预设超参数先验分布，对 num_layers 这类离散变量更友好
• 它默认按 val_loss 选择最优模型，若任务是分类且关注 val_accuracy，需显式传入 objective='val_accuracy'
• 每次调优后，tuner.get_best_models(num_models=1)[0] 返回的是已训练完的完整模型，可直接 predict()

自定义超参数空间时，hp.Float 和 hp.Int 的缩放方式影响收敛

学习率、正则系数这类跨数量级的参数，必须用 scale='log'，否则搜索会集中在高值区（比如在 [1e-5, 1e-2] 区间均匀采样，90% 样本落在 1e-3 以上）。而层数、单元数等整型参数用线性采样即可。

错误写法：

hp.Float('learning_rate', 1e-5, 1e-2)

正确写法：

hp.Float('learning_rate', 1e-5, 1e-2, sampling='log')

同理，hp.Int('dense_units', 32, 512, step=32) 比盲目设 min=8, max=1024 更高效——它把搜索空间压缩到实际有效的粒度上。

• hp.Choice 用于枚举型参数（如 optimizer），但选项不宜超过 5 个，否则组合爆炸
• 避免在 build_model 中硬编码 input_shape，应从 hp 对象里动态读取，否则不同试验可能因 shape 不一致报 ValueError: Input 0 of layer ... is incompatible
• 若用 tf.data.Dataset 作输入，确保 batch_size 也在超参空间里（用 hp.Int），否则不同试验的梯度更新步长不一致，指标不可比

调优后模型部署前，必须重训且禁用 tuner 相关回调

调优得到的“最佳模型”只是该试验中的快照，权重未在完整训练周期上充分收敛。直接部署会导致性能下降 2–5%。正确做法是：用 tuner.get_best_hyperparameters()[0] 提取超参，再新建一个干净的 tf.keras.Model 实例，调用 model.fit(..., epochs=200) 重训。

此时要删掉所有 tuner 注入的回调（如 EarlyStopping 若在调优中启用过，重训时得手动判断是否保留）。特别注意 ModelCheckpoint 的 filepath 路径不能含 tuner/trial_ 类字符串，否则会覆盖原试验文件。

• 重训时 batch_size 建议设为调优时最大值（如 256），以更好利用 GPU 显存带宽
• 若原始调优用的是 validation_split=0.2，重训时应改用独立验证集，避免数据泄露
• 最后保存模型务必用 model.save('final_model.h5') 或 tf.keras.models.save_model(..., save_format='tf')，不要依赖 tuner 自动保存的临时路径

真正卡住人的地方往往不是算法选型，而是 hp.Float(..., sampling='log') 忘加、重训时没清掉 tuner 的回调、或者用错 keras_tuner 版本导致模型构建失败。这些细节不报严重错误，但会让调优结果完全不可信。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！