不能直接用 np.max 实现 relu，因为它是全局最大值函数，会将整个数组压缩为标量；relu 需逐元素比较，正确写法是 np.maximum(0, x)，支持任意 shape 且可广播。
为什么不能直接用 np.max 实现 ReLU？
因为 np.max 是全局最大值函数，会把整个数组压成一个标量；ReLU 需要的是逐元素比较，正确做法是用 np.maximum 或布尔索引。常见错误是写成 np.max(x, 0) 或 np.max(x)，结果维度崩塌、梯度断掉。
实操建议：
- ReLU 正确写法：
np.maximum(0, x)—— 安全、可广播、支持任意 shape - 等价但稍慢的写法：
x * (x > 0)或np.where(x > 0, x, 0) - 避免用
np.clip(x, 0, None)：虽然结果对，但语义不清，且部分旧版 NumPy 不支持None作为上界
怎样让 Sigmoid 同时避免上溢和下溢？
原始公式 1 / (1 + np.exp(-x)) 在 x 很大（如 >25）时，np.exp(-x) 下溢为 0，导致除零警告；在 x 很小（如 np.exp(-x) 上溢为 inf，结果为 nan。
实操建议：
- 分段处理：
np.where(x >= 0, 1 / (1 + np.exp(-x)), np.exp(x) / (1 + np.exp(x))) - 更简洁的等价形式：
np.exp(np.minimum(0, x)) / (1 + np.exp(-np.abs(x))) - 不要用
scipy.special.expit除非你 already 依赖 SciPy——它内部做了同样防护，但引入额外依赖不划算
自定义激活函数必须支持梯度计算吗？
如果你只做前向推理（比如部署静态模型），纯 NumPy 函数没问题；但若要训练（哪怕只是手动算梯度），必须保证函数可微且实现数值稳定。ReLU 在 0 处不可导，惯例设梯度为 0 或 0.5，别返回 nan。
实操建议：
- ReLU 梯度函数写成：
np.where(x > 0, 1, 0)（不是x >= 0，避免在 0 处传回 1） - Sigmoid 梯度可复用前向结果：
output * (1 - output)，比重新算np.exp快且稳 - 别在函数里加 print 或 logging——NumPy 向量化会被打断，变成隐式循环
NumPy 激活函数在多维数组上的行为陷阱
很多人把输入 reshape 成 2D 再激活，结果发现 batch 维度被破坏。NumPy 函数默认作用于全部元素，不会自动识别“batch”或“channel”维度。
实操建议：
- 保持原始 shape：ReLU 和 Sigmoid 都是逐元素操作，
x是 (N, C, H, W) 还是 (N, D)，输出 shape 完全一致 - 如果后续要 axis-wise 归一化（比如 Softmax），那是另一层逻辑，激活函数本身不该介入
- 测试时用
np.random.randn(2, 3, 4)而非np.array([1, -2, 3])，提前暴露广播或 shape 错误
实际用的时候，最常出问题的不是公式写错，而是把激活函数当成“黑盒工具”去套，忽略了它和数组 shape、数据类型（比如 float32 vs float64）、以及下游运算的耦合关系。尤其在拼接多个 NumPy 层时，中间 dtype 变了、nan 悄悄混进去，debug 成本远高于写函数本身。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
