如何使用Python Pandas对数据进行标准化和归一化预处理？-Python教程-PHP中文网

标准化和归一化需规避nan、常量列及类型误操作：先筛选数值列，显式检查唯一值数量与缺失情况；优先使用minmaxscaler等成熟工具而非手写公式；缩放后须核对dtype、分布及业务合理性。

如何使用python pandas对数据进行标准化和归一化预处理？

图片提示词生成器？不止如此。马甲系统 —— 把脑海中的画面，翻译成AI能理解的专业表达。用得越多，它越懂你：首次需要多问几句确认方向，用久了几乎一说就懂。用得越多，它越快：缓存机制让后续对话越来越省。 RAG进化：成功案例持续入库，越跑越聪明。输入「新手指南」查看完整功能介绍

下载

直接用 `df.sub().div()` 做标准化，但必须先处理 NaN 和常量列

用 df.sub(df.mean()).div(df.std()) 看似一行搞定 Z-score，但实际踩坑率极高： - 若某列全为 NaN，df.std() 返回 NaN，整列变 NaN； - 若某列只含一个非空值（或全相同），df.std() 为 0，除零报 RuntimeWarning: invalid value encountered in divide，结果全是 nan 或 inf； - df.mean() 默认跳过 NaN，但 df.std() 对含 NaN 列仍会计算（样本标准差），若只剩 1 个有效值，std = 0 → 后续崩溃。建议操作： - 先用 df.select_dtypes(include='number') 锁定数值列，避免对时间、ID、category 列误操作； - 对每列显式检查：if x.nunique() > 1 and not x.isna().all()，否则跳过或设为 0； - 替代写法：df.apply(lambda x: (x - x.mean()) / x.std(ddof=0) if x.nunique() > 1 else 0)（ddof=0 避免样本校正导致 std 更小）。

`MinMaxScaler` 比手写 `(df - df.min()) / (df.max() - df.min())` 更可靠

手写归一化公式看着干净，但生产环境几乎必崩： - 当某列 max == min（常量列），分母为 0，整列变 inf 或 nan； - 若训练集某列 min/max 是异常值，测试数据超出该范围，归一化后值会 1，破坏模型输入假设； - MinMaxScaler 内置保护：遇到常量列默认输出 feature_range[0]（通常是 0.5），且支持 clip=True 自动截断越界值。实操要点： - 必须用 fit_transform() 处理训练集，再用 transform() 处理测试集，不能对测试集单独 fit_transform()； - 若需反归一化，保存 scaler 对象（它存了 min_ 和 scale_），别依赖原始 df.min()； - 注意 feature_range 默认是 (0, 1)，但浮点误差可能导致极小负数（如 -1e-15），上线前加 np.clip(0, 1) 更稳妥。

标准化/归一化后 dtype 变成 `float64`，但 merge/groupby 可能出问题

缩放后所有数值列自动转为 float64，这本身没问题，但容易引发隐性 bug： - 原先是 int64 的 ID 列若被误纳入处理，变成 float 后再 merge 会因精度丢失失败（如 123456789012345 → 123456789012345.0）； - category 类型的编码列（如 label-encoded）参与 df.mean() 会静默返回 NaN，必须提前 astype(float)； - 时间列（datetime64）若被 select_dtypes(include='number') 漏掉，通常没问题；但若误用 pd.to_numeric() 强转，会丢精度。建议步骤： - 显式指定要处理的列：num_cols = ['age', 'income', 'score']，而非依赖类型推断； - 缩放后用 df[num_cols].dtypes 快速核对； - 若后续要 groupby('user_id')，确认 user_id 没被包含在 num_cols 中。

上线前必须用 `describe()` 扫一眼缩放后的分布

缩放不是“做完就完事”，关键看结果是否合理： - 标准化后 std 应 ≈ 1，mean 应 ≈ 0 —— 但若某列训练集 std 是 1e-8，缩放后数值可能爆炸（如原值 100 → 输出 1e10）； - 归一化后 min 应 ≥ 0，max 应 ≤ 1 —— 但若测试集出现超范围值且没开 clip=True，max 就会 > 1； - 异常值未清洗时，归一化会把整列“压扁”：比如收入列有 1 个 1000 万 outlier，其余都在 5k–20k，归一化后正常值全挤在 0–0.002 区间。所以每次缩放后务必执行：df_scaled.describe(percentiles=[.01, .25, .5, .75, .99])，重点盯 std、min、max 和 99% 分位数 —— 这比代码逻辑更容易暴露真实问题。