z-score适用于单变量近正态数据，需先筛选数值列再逐列计算；isolationforest适用于多维相关异常，需处理缺失值并注意参数设置。
用 scipy.stats.zscore 快速识别数值型列的离群点
Z-score 是最常用且响应快的离群检测方法，适合单变量、近正态分布的数据。它计算每个值距离均值的标准差倍数，通常取绝对值 > 3 作为阈值。
注意：直接对整张 pd.DataFrame 调用 zscore 会出错，必须按数值列逐列处理，否则非数值列（如字符串、时间）会触发 TypeError: ufunc 'isfinite' not supported for the input types。
- 先用
select_dtypes(include=['number'])筛出数值列 - 对每列单独算
zscore，避免广播错误 - 用
np.abs(z_scores) > 3得布尔掩码，再用.any(axis=1)标记含任一离群值的行
示例：
import numpy as np from scipy.stats import zscore numeric_cols = df.select_dtypes(include=['number']).columns z_scores = np.abs(zscore(df[numeric_cols])) outlier_mask = (z_scores > 3).any(axis=1) clean_df = df[~outlier_mask].copy()
用 sklearn.ensemble.IsolationForest 处理多维相关异常
当异常由多个特征组合引发（比如“收入低但消费高”），Z-score 会失效。IsolationForest 不依赖分布假设，适合高维、非线性异常模式，且训练快、内存友好。
关键参数影响大：contamination 决定预估异常比例，默认 'auto' 可能不准；n_estimators 过小易欠拟合，过大不提升效果反而拖慢；务必设 random_state 保证可复现。
- 只传入数值列，缺失值需提前用
df.dropna()或SimpleImputer处理 -
fit_predict返回1（正常）和-1（异常），别误当成 0/1 分类标签 - 若数据量 EllipticEnvelope 更稳定
用 pd.Series.quantile 做稳健的箱线图式过滤
对偏态或重尾分布（如用户点击次数、订单金额），Z-score 和 IsolationForest 都可能误杀。此时用四分位距（IQR）更鲁棒——它只依赖中位数和分位数，不受极端值拉偏。
公式是：下界 = Q1 - 1.5 * IQR，上界 = Q3 + 1.5 * IQR。系数 1.5 可调，但改成 2 或 3 会显著减少过滤量，需结合业务判断。
- 每列单独计算上下界，不能共用同一组
Q1/Q3 - 用
clip替代drop可保留样本量，但会扭曲分布；过滤优先选df[~mask] - 对含零或负数的比率型数据（如转化率），先做 log 变换再 IQR，否则下界可能为负
为什么 df.describe() 不能代替异常检测？
df.describe() 只输出统计摘要，不生成布尔掩码，也不能自动标记行。有人试图用 df.describe().loc['max'] > threshold 判断整列是否异常，这是错的——它只说明该列存在大值，无法定位具体哪些行越界。
更隐蔽的问题是：describe 默认跳过 NaN，但 zscore 和 IsolationForest 对 NaN 敏感，不提前处理会导致结果全为 NaN 或报错 ValueError: Input contains NaN。
真正省时间的做法，是把清洗链写成函数：缺失值填充 → 数值列提取 → 按策略选检测器 → 统一返回 clean_df。中间任何一步断掉，都得回头查 dtype 和 NaN 分布——这点最容易被忽略。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
