直接用tf.keras搭DQN易出错，因TF无现成DQN类，而tf_agents依赖Reverb等重型组件且预设完整RL流程；应手动实现Q网络、Bellman loss计算、目标网络同步及简易经验回放。
为什么直接用 tf.keras 搭 DQN 容易出错
TensorFlow 本身不提供现成的 DQN 类，官方 tf_agents 库虽封装了 DqnAgent，但默认依赖 Reverb 和 TFPolicySaver 等重型组件，新手一跑就卡在 ImportError: No module named 'reverb' 或 ValueError: observation_spec must be a BoundedArraySpec。这不是你代码写错了，是它预设了完整的 RL pipeline，而你只想先跑通一个 CartPole 上的 DQN——这时候硬套高层 API 反而绕路。
手动实现核心网络：用 tf.keras.Model 写 Q-network
DQN 的本质就是一个输入状态、输出每个动作 Q 值的神经网络。别被“强化学习”吓住，它和普通分类模型结构一致，只是 loss 计算逻辑不同。关键点：
-
input_shape必须匹配环境的observation_space，比如 CartPole 是(4,)，Atari 是(84, 84, 4) - 最后一层输出维度必须等于
env.action_space.n，不能用softmax——Q 值不是概率，是带符号的实数 - 推荐用
tf.keras.layers.Dense+tf.nn.relu，避免BatchNormalization（训练不稳定）和Dropout（破坏 Q 值一致性）
示例（CartPole）：
tf.keras.Model.compile()
- 每次采样 batch 后，用主网络（online network）计算当前状态的
q_values - 用目标网络（target network）计算下一状态的
max_q_next，注意要 mask 掉 terminal 状态（done为True时，target_q = reward） - 用
tf.GradientTape()对主网络参数求导，loss =tf.reduce_mean(tf.square(q_values - target_q)) - 目标网络每
update_target_every步用tf.keras.models.clone_model()或model.set_weights()同步一次权重
漏掉 done 判断或误用 tf.stop_gradient() 在 target 上，会导致 loss 爆炸或收敛到固定值。
经验回放（Replay Buffer）必须自己写，别信“一行导入”
tf_agents.replay_buffers.TFUniformReplayBuffer 需要定义 data_spec，对新手极不友好；而 collections.deque 在小规模任务（如 CartPole）上完全够用，且可控性强。
- 存的是元组
(state, action, reward, next_state, done)，全部转成np.array或tf.Tensor - 采样 batch 时，
next_state和state要一起 stack，否则 tensor shape 不对会报InvalidArgumentError: ConcatOp : Dimensions of inputs should match - buffer size 别设太大（比如 1e6），本地跑 CartPole 用
10000就够，内存和调试都轻松
真正卡住人的从来不是算法，是 state 和 next_state 的 dtype 不一致（比如一个是 float32，一个是 float64），或者 done 传成了 int 而不是 bool——这些细节不会报明确错误，只会让 Q 值缓慢漂移，最后发现 agent 一直往左撞墙。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
