Loss变成NaN是具体计算环节溢出或非法所致，需检查log/sqrt等敏感运算并加安全边界，排查softmax数值稳定性、数据管道NaN污染、梯度更新阶段NaN传播，并在各子模块出口校验数值。

Loss变成NaN不是模型“坏了”，而是某个计算环节溢出、非法或失控了——它一定发生在某个具体操作上，而不是玄学现象。

检查tf.log、tf.sqrt等对输入敏感的运算

这些函数在输入为0、负数或极小值时会直接产出NaN。比如tf.log(cvr)中cvr经过sigmoid后可能被截断为严格0（尤其在低精度下），再取对数就崩了。

• 必须用tf.clip_by_value(cvr, 1e-10, 0.9999)兜底，不能只靠sigmoid
• tf.sqrt(x)前加tf.maximum(x, 0.0)，避免负数开方
• 自定义loss里所有涉及除法、对数、幂、开方的地方，都要手动加安全边界

排查tf.nn.softmax和tf.nn.log_softmax的数值稳定性

原始softmax内部含exp(x)，若某层输出极大（如未归一化的logits > 88），exp(88)就溢出为inf，后续inf/inf → NaN。

• 不要自己重写softmax；优先用tf.nn.softmax(logits, axis=-1)，它内部已做logits - tf.reduce_max(logits, axis=-1, keepdims=True)
• 如果用了tf.nn.log_softmax，它已内置稳定化，但前提是输入logits没提前炸掉
• 可在关键层后插入tf.debugging.check_numerics定位爆炸点

验证数据管道是否悄悄引入NaN或Inf

哪怕只有一条样本含NaN，它流经网络后就会污染整批梯度——而且往往在第1个batch就爆发，而非“训练一阵后才出问题”。

python-flask-vue-creator

创建 Flask + Vue.js 全栈项目，采用单端口架构、uv 依赖管理、结构化日志和生产级前端设计。当用户要求以下操作时触发：创建新的 Flask+Vue 项目、搭建 Web 应用、构建全栈 Python+Vue 应用、初始化 Flask Web 项目、设置单端口 Flask 前后端项目。触发词：新建项目、创建项目、搭建项目、Flask项目、Vue项目。

下载

• 在Dataset流水线末尾加map：用tf.py_function调用np.any(np.isnan(x))实时报警
• 检查原始数据源：图像是否被错误解码为全0或全255？CSV中是否有空字段被转成float('nan')？
• 用tf.data.experimental.scan累计统计每批的min/max/std，异常值会立刻暴露

别忽略梯度更新阶段的NaN传播

Loss本身算出来是合法的，但反向传播时某层权重梯度变成Inf或NaN，下一轮前向就全废了——这种延迟崩溃最难抓。

• 启用tf.debugging.enable_check_numerics()（TF 2.9+），它会在每次op执行后自动检查数值合法性
• 禁用混合精度训练（mixed_float16）临时测试：FP16下1e-8直接变0，再参与除法/对数极易下溢
• 梯度裁剪不是万能的：tf.clip_by_global_norm只能防爆炸，不能防0/0或log(0)这类源头错误

真正棘手的NaN往往藏在多层封装之后，比如一个自定义Layer里先tf.reduce_mean再tf.math.divide_no_nan，但中间某步reduce_mean输入已是NaN——这时divide_no_nan也救不回来。务必在每个子模块出口加数值校验，而不是只盯最终loss。

Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！