actor和critic必须双头分离输出：actor输出logits（离散）或均值/对数标准差（连续），critic输出标量value；loss计算需在tf.gradienttape内完成，advantage需stop_gradient，环境交互须适配gym新api并统一数据类型与shape。
用 tf.keras.Model 定义 Actor-Critic 网络时，输出层维度容易错
Actor 和 Critic 必须分开建模，不能共用最后一层。常见错误是让网络同时输出动作概率和状态值，但 tf.keras.Model 的单输出结构会强制共享梯度，导致策略更新不稳定。
正确做法是定义双头输出：Actor 头输出 logits（维度 = 动作空间大小），Critic 头输出单个 value（维度 = 1）。注意使用 tf.keras.layers.Dense 时显式指定 activation=None，避免 softmax 或 tanh 干扰策略梯度计算。
- 离散动作空间（如
CartPole-v1）：Actor 输出用tf.nn.softmax归一化，但梯度回传必须基于原始logits - 连续动作空间（如
Pendulum-v1）：Actor 输出应为均值 + 对数标准差两组张量，用tfp.bijectors.Tanh或手动 clip 控制范围 - Critic 的 loss 必须用
tf.keras.losses.MSE，且 target 是reward + gamma * next_value（不是 reward alone）
tf.GradientTape 记录梯度时，tape.watch() 不起作用的真正原因
很多人调用 tape.watch(model.trainable_variables) 后仍报 “No gradients provided” 错误——其实根本不用 watch，tf.GradientTape 默认追踪所有参与前向计算的可训练变量。问题往往出在 loss 张量没被 tape 正确捕获。
关键检查点：
- 确保 loss 计算（如
actor_loss、critic_loss）发生在with tf.GradientTape() as tape:代码块内 - 不要在 tape 外提前调用
.numpy()或.item()，这会断开计算图 - 如果用了
tf.function装饰器，确认所有输入张量类型一致（比如tf.float32），否则 autograph 可能跳过部分追踪 - Actor loss 中的
tf.stop_gradient(advantage)是必须的：advantage 本身不参与 actor 梯度更新，但要作为权重乘进 log_prob 梯度里
与 Gym 环境交互时，env.reset() 和 env.step() 返回值类型易引发 shape 错误
Gym 0.26+ 版本统一返回 (obs, info) 元组，而旧版是单个 obs；同时 env.step() 在新版本中返回 (next_obs, reward, terminated, truncated, info) 五元组。TensorFlow 运算对 shape 敏感，混用会导致 InvalidArgumentError: Incompatible shapes。
稳妥写法：
- 初始化环境后立刻检查：
obs, _ = env.reset(); print(obs.shape, obs.dtype) - 统一用
np.array(obs, dtype=np.float32)转换观测，再转成tf.constant或tf.convert_to_tensor - 判断 episode 结束必须同时检查
terminated和truncated（Gym 新规范），只看done已失效 - 批量推理时（如 PPO 的 rollout），别直接堆叠 list of arrays，用
np.stack(..., axis=0)再转 tensor，否则 batch 维度丢失
训练卡住或 reward 不涨？先查 tf.clip_by_global_norm 和学习率衰减配置
强化学习对梯度爆炸极其敏感，尤其在 critic 更新时。没加梯度裁剪常导致 loss 突然变 nan，后续所有更新失效，但控制台未必报错。
实操建议：
- Actor 和 Critic 分别计算梯度后，各自调用
tf.clip_by_global_norm(gradients, 0.5)（阈值 0.5 是常用起点） - 学习率别设固定值：用
tf.keras.optimizers.schedules.ExponentialDecay，初始1e-3，衰减率0.999，比恒定1e-4更稳定 - 每 10 个 episode 打印一次 critic loss 均值，若持续 > 100 或震荡剧烈，大概率是 reward scaling 不当（例如没把
reward /= 100.）或 gamma 设置过高（gamma=0.99对 CartPole 合适，但对 Sparse Reward 环境应降到0.9）
最常被忽略的是环境 reward 的量级和网络输出 scale 不匹配——Critic 输出值域和 reward 值域差两个数量级时，MSE loss 会主导更新方向，策略根本学不到东西。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
