float16精度仅约3位十进制有效数字，整数精确上限2048，指数范围窄（±6.5×10⁴），易溢出/下溢，混用时静默降级，GPU上行为不一致，误差边界模糊，非显存受限场景不宜作通用数值类型。
float16 的精度上限只有约 3 位有效十进制数字
NumPy 的 np.float16 是 IEEE 754 半精度浮点类型，仅用 16 位存储：1 位符号 + 5 位指数 + 10 位尾数。这意味着它能精确表示的整数最多到 2^11 = 2048，超过后连整数都会丢；小数部分的有效精度约等于 3～4 位十进制数字。例如：np.float16(0.01) 实际存的是 0.010009765625，误差已达 9.8e-6——不是计算错，是根本存不准。
累加、除法、sqrt 等运算极易触发溢出或下溢
float16 的指数范围极窄（≈ ±6.5 × 10⁴），远小于 float32（≈ ±3.4 × 10³⁸）或 float64（≈ ±1.8 × 10³⁰⁸）。常见陷阱包括：
- 对
[1e4, 1e4, 1e4]求和 → 中间结果超65504，直接变成inf - 对
[1e-5, 1e-5]求均值 → 结果低于最小正正规数（6.1e-5），被 flush 到0或次正规数，精度崩塌 -
np.sqrt(np.float16(0.0001))返回0.01001，但若输入已是次正规数，sqrt 可能返回nan
与 float32/float64 混用时会静默降级或截断
NumPy 在混合 dtype 运算中默认按“更宽类型”提升，但 float16 是个例外：它不会主动升为 float32，反而常被其他类型“拖垮”。例如：
-
np.array([1.0], dtype=np.float16) + np.array([0.1], dtype=float)→ 结果是float16，而0.1被强制转成float16后已失真 -
np.mean(arr.astype(np.float16))先转再算均值，全程在float16精度内完成，sum 阶段就可能溢出 -
arr.astype(np.float16).sum()不会自动用更高精度 accumulator，和np.sum(arr, dtype=np.float16)行为一致，都危险
GPU 加速场景下硬件行为不一致加剧问题
在 CUDA 环境中，float16 运算由 Tensor Core 或 FP16 ALU 执行，但不同 GPU 架构（如 Ampere vs. Pascal）对舍入模式、次正规数支持、inf/nan 传播策略有差异。同一段代码在 A100 上返回 0.0，在 V100 上返回 nan 并不罕见。更麻烦的是，NumPy 本身不跑 GPU，所以 np.float16 数组传给 CuPy 或 PyTorch 时，需显式调用 .astype('float16')，中间若经过 Python float 或 list，又会先被转成 float64 再截断，误差叠加。
真正棘手的不是 float16 算得不准，而是它的误差边界太模糊：既不能像 Decimal 那样控制有效位，也不像 float64 那样有稳定的行为预期。除非明确为推理压缩或显存受限场景服务，否则别把它当通用数值类型用。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
