tensorflow中tf.math.add/subtract返回计算图节点而非数值，需.numpy()或tf.cond处理；tf.math.pow负底数易致nan；tf.math.reduce_mean在axis=none时默认升为float64；tf.math.sqrt在x=0处梯度爆炸，应改用tf.math.rsqrt或加epsilon。
tf.math.add 和 tf.math.subtract 的行为与 NumPy 不同
TensorFlow 的张量运算是惰性执行的，tf.math.add 和 tf.math.subtract 返回的是计算图节点（tf.Tensor 对象），不是立即计算出的数值。如果你在 eager 模式外调用，不会看到结果；在 eager 模式下虽然能直接打印，但值仍是封装后的 tf.Tensor，不能当 Python 数字直接参与 if 判断或 + 运算。
- 常见错误：写
if tf.math.add(a, b) > 0:—— 会报TypeError: Using a tf.Tensor as a Python bool is not allowed - 正确做法：先用
.numpy()转成 NumPy 数组（仅限 eager 模式），或用tf.cond做图内条件分支 - 注意广播规则和 NumPy 一致，但 dtype 必须兼容；比如
int32和float32相加，默认升为float32，但显式指定dtype参数可覆盖
tf.math.pow 的底数为负时容易触发 NaN
tf.math.pow 对负底数 + 非整数指数非常敏感，尤其在梯度回传时——哪怕只是中间临时张量出现 -2.0 ** 0.5 这种操作，也会让整个 batch 的梯度变成 NaN，且不抛错，只静默污染结果。
- 典型场景：自定义 loss 中写
tf.math.pow(y_true - y_pred, 2)看似安全，但如果y_true - y_pred是负的、又用了非整数幂（比如1.5），就崩了 - 安全替代：用
tf.square(x)代替tf.math.pow(x, 2)；对任意幂，先用tf.abs(x)再 pow，或加小偏移tf.math.pow(x + 1e-8, p) - GPU 上该函数可能比 CPU 更早溢出，建议在训练前用
tf.debugging.check_numerics插桩验证
tf.math.reduce_mean 在 axis=None 时的 dtype 隐式转换
调用 tf.math.reduce_mean 时若输入是 int32，默认输出是 float64（不是 float32），这在混合精度训练（mixed_float16）中会意外中断计算流，导致 InvalidArgumentError: input and filter must have the same data type 类错误。
- 原因：TF 为保证数值精度，对整型输入自动升为
float64；浮点输入则保持原精度（float32→float32） - 修复方式：显式传
dtype=tf.float32，例如tf.math.reduce_mean(x, axis=None, dtype=tf.float32) - 注意
axis=0或axis=[1,2]不受影响，只有axis=None（即全局 reduce）才触发此行为
自定义梯度里别直接用 tf.math.sqrt
tf.math.sqrt 在 x=0 处导数为无穷大，而 TensorFlow 默认梯度注册器不处理该奇点，反向传播时会在 x=0 附近产生极大梯度甚至 inf，引发优化器爆炸。
- 真实踩坑点：在 attention 权重归一化里写
1 / tf.math.sqrt(d_k)，如果d_k是标量且初始化为 0，训练第一步就inf - 稳妥写法：改用
tf.math.rsqrt（即1/sqrt(x)），它内部做了零值保护；或手动加 epsilon：tf.math.sqrt(x + 1e-8) - 若必须用
sqrt且需自定义梯度，请用@tf.custom_gradient显式定义x==0时的梯度为 0
实际写模型时，最常被忽略的是 tf.math.reduce_mean 的 dtype 自动升级和 tf.math.sqrt 在零点的梯度行为——它们不出错，但会让 loss 曲线突然抖动或收敛变慢，查起来要翻好几层 call stack。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
