dqn模型加载后性能骤降，主因是未同步保存epsilon探索率和经验回放缓冲区；仅保存网络权重会导致智能体重置为纯随机策略，彻底丢失训练状态。
dqn模型加载后性能骤降，主因是未同步保存epsilon探索率和经验回放缓冲区；仅保存网络权重会导致智能体重置为纯随机策略，彻底丢失训练状态。
在深度强化学习中，DQN智能体的完整状态不仅包含神经网络权重，还包括关键的行为策略参数（如ε-greedy中的 epsilon）和学习记忆（即 memory 经验回放缓冲区）。若仅调用 model.save() 保存Keras模型，而忽略智能体运行时状态，则重新初始化 DQLAgent 时会触发默认构造逻辑：self.epsilon = 1、self.memory = deque(maxlen=2000) —— 这意味着加载后的智能体在评估或继续训练时，仍以100%随机动作起步，完全无视已学策略，造成“性能归零”的假象。
✅ 正确做法：统一序列化智能体全状态
应将模型权重、超参数（epsilon, epsilon_decay, epsilon_min）及经验回放数据一并持久化。推荐使用 pickle 封装整个智能体状态（注意：Keras模型需单独保存为HDF5/Keras格式，因其含计算图结构，不可直接pickle）：
import pickle
from tensorflow.keras.models import load_model
class DQLAgent:
# ...（原有代码保持不变）...
def save_full_state(self, model_path: str, state_path: str):
"""保存模型权重 + 智能体运行时状态"""
self.model.save(model_path) # 保存网络
with open(state_path, 'wb') as f:
pickle.dump({
'epsilon': self.epsilon,
'epsilon_decay': self.epsilon_decay,
'epsilon_min': self.epsilon_min,
'memory': list(self.memory), # 转为list便于序列化
}, f)
def load_full_state(self, model_path: str, state_path: str):
"""加载模型权重 + 恢复智能体状态"""
self.model = load_model(model_path)
with open(state_path, 'rb') as f:
state = pickle.load(f)
self.epsilon = state['epsilon']
self.epsilon_decay = state['epsilon_decay']
self.epsilon_min = state['epsilon_min']
self.memory = deque(state['memory'], maxlen=2000)
? 使用示例：训练后保存 & 加载评估
# 训练完成后
agent.save_full_state('dql_cartpole_model.keras', 'dql_agent_state.pkl')
# 评估时——不再传 model_path 构造，而是显式加载
env = gym.make('CartPole-v1')
agent = DQLAgent(env) # 使用默认初始化（不加载模型）
agent.load_full_state('dql_cartpole_model.keras', 'dql_agent_state.pkl')
# 关键：评估阶段禁用探索！设置 epsilon = 0
agent.epsilon = 0.0 # 确保100%按Q值选择最优动作
for e in range(100):
state = env.reset()
state = np.reshape(state, [1, 4])
total_reward = 0
while True:
action = agent.act(state) # 此时 act() 将跳过 random.rand() 判断
next_state, reward, done, _ = env.step(action)
next_state = np.reshape(next_state, [1, 4])
state = next_state
total_reward += reward
if done:
print(f'Eval Episode {e+1}: {total_reward}')
break
⚠️ 注意事项与最佳实践
- 评估 ≠ 继续训练：若仅做推理（evaluation），务必手动设 agent.epsilon = 0，否则即使模型已收敛，高 epsilon 仍强制随机采样，掩盖真实性能；
- 继续训练需谨慎：加载后若要微调（fine-tune），应保留 epsilon（如从 0.05 开始衰减）并清空或截断旧 memory（避免过时低质量样本干扰）；
- 避免 load_model() 后覆盖状态：原代码中 if model_path: 分支会跳过 self.epsilon 初始化，但未提供途径恢复历史 epsilon 值——因此必须通过 load_full_state() 显式还原；
- 环境一致性：确保加载时 gym 环境版本、观测/动作空间与训练时完全一致，否则 state_size/action_size 不匹配将引发静默错误。
通过将模型、策略参数与经验记忆作为原子单元统一管理，可确保DQN智能体在保存-加载后保持行为一致性，真正实现“所训即所用”。
