直接用np.exp(x)算Softmax会出错，因为exp(1000)等大数导致上溢为inf，分母求和后出现nan或0/0；解决方法是先减去每行最大值再计算，即softmax(x)_i = exp(x_i−max(x)) / ∑_j exp(x_j−max(x))，确保最大指数为0，彻底避免上溢。
为什么直接用 np.exp(x) 算 Softmax 会出错
因为 np.exp 对较大输入（比如 100）会返回 inf，导致整个 Softmax 输出全为 nan 或 0/0。常见现象是训练中突然 loss 变成 nan，或前向传播后输出全是 0 和 nan。
根本原因是指数函数增长极快，而 Softmax 的分母是所有 exp(x_i) 之和 —— 只要有一个 x_i 超过约 709（np.finfo(np.float64).maxexp），np.exp(x_i) 就溢出为 inf。
解决思路不是“缩放输入”，而是利用 Softmax 的数学等价性：softmax(x)_i = exp(x_i) / sum_j(exp(x_j)) = exp(x_i - C) / sum_j(exp(x_j - C))，其中 C 是任意常数。选 C = max(x) 后，最大项变成 exp(0) = 1，其余项 ≤ 1，彻底避开上溢。
如何正确实现带防溢出的 Softmax（逐行解释）
关键就两步：先减去每行最大值，再算 exp 和归一化。注意必须按 axis 操作，尤其对 batch 输入（2D）：
import numpy as np <p>def softmax(x):</p><div class="aritcle_card flexRow artxards"> <div class="artcardd flexRow"> <a class="aritcle_card_img" rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac"><img src="https://img.php.cn/upload/skill/001/246/273/6adaf20dbae7c507.jpg" alt="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" onerror="this.onerror='';this.src='/static/lhimages/moren/morentu.png'" ></a> <div class="aritcle_card_info flexColumn"> <a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="overflowclass">macOS UI 自动化技能包 —— 用 Python 控制你的 Mac</a> <p class="overflowclass">让 macOS 自动化像说话一样简单 —— 用代码控制你的 Mac，无需学习 AppleScript 系统要求 macOS 14+ (Sonoma) Python 3.9+ 需要开启：辅助功能 + 屏幕录制权限</p> </div> <a rel="nofollow" href="/xiazai/skill9965" title="macOS UI 自动化技能包 —— 用 Python 控制你的 Mac" class="aritcle_card_btn flexRow flexcenter"><b></b><span>下载</span> </a> </div> </div><h1>x: shape (N, D) 或 (D,)</h1><pre class="brush:python;toolbar:false;">x_max = np.max(x, axis=-1, keepdims=True) # 保持维度，方便广播 x_shifted = x - x_max exp_x = np.exp(x_shifted) return exp_x / np.sum(exp_x, axis=-1, keepdims=True)
-
axis=-1表示对最后一维（通常是类别维）操作，兼容 1D 和 2D 输入 -
keepdims=True必须加，否则x_max形状塌缩，无法和原x广播相减 - 不要写
np.max(x, axis=1)处理 batch —— 若输入是 (5,)，这会报错；axis=-1更鲁棒
常见错误写法及后果
这些写法看似简洁，但会在特定输入下失效：
- 漏掉
keepdims=True→x - np.max(x, axis=-1)触发广播错误或静默计算错误（如 (3,4) 减 (3,) 得到意外形状） - 写成
np.exp(x) / np.sum(np.exp(x), axis=-1, keepdims=True)→ 未平移，仍可能溢出 - 对整个数组取 max：
C = np.max(x)→ 错误地把 batch 内所有样本混在一起平移，破坏每个样本的相对概率分布 - 用
np.clip(x, -700, 700)替代平移 → 生硬截断会扭曲梯度，且不能解决分母求和时的中间溢出
验证是否真的防住了溢出
手动构造极端输入测试：
x_bad = np.array([1000.0, 1001.0, 1002.0]) print(softmax(x_bad)) # 输出：[0.09003057 0.24472847 0.66524096] —— 正常，非 nan <p>x_2d = np.array([[1000, 2000], [3000, 4000]]) print(softmax(x_2d))</p><h1>输出两行有效概率，每行和为 1.0</h1>
对比不平移版本：np.exp(x_bad) / np.sum(np.exp(x_bad)) 会返回 [nan nan nan]。
真正容易被忽略的是：这个技巧只解决上溢（inf），不解决下溢（极小值变 0.0）；但下溢在 Softmax 中影响有限——对应概率本就接近 0，且不会导致除零或 nan。需要梯度稳定时，才需额外考虑 log-Softmax。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
