用np.nan初始化数组后赋值会触发隐式类型转换,导致原意图的int/bool语义丢失;应优先选dtype=object或显式浮点型,整型缺失宜用pandas的pd.NA;填充须用向量化操作如np.where而非循环,注意内存视图是否改变。

用 np.nan 初始化数组后,直接赋值会失效?
NumPy 数组一旦用 np.nan 初始化(比如 np.full(shape, np.nan)),后续对部分元素赋值为整数或布尔值时,会触发隐式类型转换——整个数组可能悄悄变成 float64,而你原本想保留 int 或 bool 语义。这不是 bug,但容易被忽略。
- 如果目标是“占位+后期填充”,优先用
dtype=object或明确指定浮点型(如dtype=np.float32)初始化 - 若必须保持整型且允许缺失语义,改用
pd.NA配合pandas更稳妥;纯 NumPy 下,np.int32数组无法存np.nan,会转成np.nan → 0或报错 - 检查方式:填充后立刻执行
arr.dtype和np.isnan(arr).any(),别只看数值输出
用 np.where 填充缺失值比循环快得多
很多人写 for i in range(len(arr)): 扫描 np.isnan(arr[i]) 再赋值,这在百万级数据上慢一个数量级。NumPy 的向量化操作才是正解。
- 基础填充:假设
arr是一维浮点数组,用均值填充:arr = np.where(np.isnan(arr), np.nanmean(arr), arr) - 注意
np.nanmean自动跳过np.nan,但若全为np.nan会返回nan,需加判断:fill_val = np.nanmean(arr) if not np.all(np.isnan(arr)) else 0 - 二维数组按列填充均值:用
axis=0+keepdims=True对齐广播维度,例如col_means = np.nanmean(arr, axis=0, keepdims=True),再np.where(np.isnan(arr), col_means, arr)
np.interp 处理单调坐标下的缺失值更自然
当缺失发生在有明确自变量顺序的场景(如时间序列、传感器采样点),线性插值比全局均值/中位数更合理。但 np.interp 要求 x 坐标严格递增,且不接受 np.nan 作为输入。
- 先提取非空位置:
valid_mask = ~np.isnan(arr),再构造坐标轴x = np.arange(len(arr))[valid_mask],值y = arr[valid_mask] - 插值前务必检查
len(x) >= 2,否则np.interp报ValueError: array must have at least 2 elements - 对整列做插值:用
np.interp(np.arange(len(arr)), x, y),结果自动补齐所有位置,包括首尾的np.nan(此时会外推,需留意)
混合类型缺失(字符串+数字)只能靠 object dtype 或转向 pandas
NumPy 的核心限制在于:一个数组只能有一种 dtype。np.nan 是浮点字面量,无法和字符串共存于同一 ndarray。试图把 'missing' 和 np.nan 放进同一个 object 数组,虽可行,但失去向量化优势。
- 字符串列缺失:用
None或' '占位,dtype=object,但后续不能用np.isnan检测,得用is None或== '' - 混合列(如 CSV 中一列含数字和空字符串):直接读入时用
np.genfromtxt(..., missing_values='', filling_values=np.nan),但最终 dtype 仍会退化为float64,丢失原始类型信息 - 真实业务中,这种需求基本该交给
pandas.DataFrame—— 它原生支持每列独立 dtype 和多种缺失标识(NaN,None,pd.NA)
最常被绕过的细节是:填充操作是否改变了原始数组的内存视图。用 np.where 或 np.copy 得到的是新数组,而直接索引赋值(如 arr[mask] = value)是原地修改——如果这个数组被其他变量引用,副作用会扩散。动手前先想清楚你要的是副本还是就地更新。
Python免费学习笔记(深入):立即使用
在学习笔记中,你将探索 Python 的核心概念和高级技巧!











