z-score异常值过滤需避免直接用均值和标准差，应改用中位数与mad或robustscaler参数手动构建掩码，并注意nan处理、分组计算及阈值固化。
用 scipy.stats.zscore 做 Z-score 异常值过滤时，别直接套用原始数据
Z-score 本身不剔除数据，它只计算每个点偏离均值的标准差倍数。直接对原始数组调用 zscore 后用 abs() > 3 判断，容易在存在明显偏态或离群点时失效——因为均值和标准差会被异常值严重拉偏。
实操建议：
- 先用
numpy.nanmedian和numpy.nanstd（加ddof=1）替代均值与标准差，更鲁棒；或者改用scipy.stats.median_abs_deviation（MAD）做分母 - 对多维数组，务必指定
axis参数，例如列方向检测：z_scores = np.abs(zscore(data, axis=0)) - 若数据含
NaN，zscore默认返回NaN，后续布尔索引会出错，需提前用np.isnan()掩码过滤或用nan_policy='omit'（仅限较新 scipy 版本）
计算 IQR 时，numpy.percentile 的 interpolation 参数影响边界判断
IQR 是 Q3 - Q1，但不同插值方式会导致 Q1 和 Q3 值不同，尤其在小样本（n ）时差异明显。默认 <code>interpolation='linear' 可能产生非实际观测值的分位数，导致上下界宽松。
实操建议：
- 统一用
interpolation='midpoint'或'lower'，避免因浮点精度引发布尔索引不一致 - 剔除逻辑应写为：
mask = (data >= Q1 - 1.5 * IQR) & (data ，注意是「保留」满足条件的，不是「删除」超限的——初学者常在这里取反出错 - 对 DataFrame 按列处理时，别用
df.quantile()直接广播减法，它可能因索引对齐失败；推荐用df.apply(lambda x: x.between(...))或显式循环列
混合使用 IQR 和 Z-score 时，别在同一批数据上串行剔除两次
有人想“保险起见”，先用 IQR 剔一轮，再对剩余数据跑 Z-score——这会显著缩小样本量，让 Z-score 的阈值（如 ±3）失去统计意义，且可能误杀边缘正常值。
实操建议：
- 二者选其一：IQR 更适合偏态、重尾分布；Z-score 更适合近似正态、样本量 > 50 的场景
- 若必须融合，建议并行判断后取交集（更严格）或并集（更宽松），例如：
keep_mask = iqr_mask & zscore_mask - 对时间序列或分组数据（如按
groupby('category')），必须分别计算每组的 IQR 或 Z-score 基准，不能全局统算
自动化流程里，sklearn.preprocessing.RobustScaler 不是剔除工具，别误当过滤器用
RobustScaler 内部用的是中位数和 IQR，但它只做标准化（平移+缩放），不会丢弃任何样本。试图用它“间接剔除”是常见误解。
实操建议：
- 真正要剔除，得自己实现逻辑：先用
RobustScaler的center_和scale_属性拿到各列中位数与 IQR，再手动构建布尔掩码 - 若用
sklearn生态，可配合sklearn.compose.ColumnTransformer对数值列单独做 IQR 过滤，但需自定义 transformer 类，重写fit_transform - 线上服务中，别每次实时重算 IQR 或 Z-score 阈值；应离线训练并固化参数（如保存
Q1,Q3,median），否则数据漂移会导致规则突变
实际部署时，最易被忽略的是「缺失值与异常值的耦合处理」：比如某列 30% 是 NaN，直接剔除异常值前没处理，会导致有效样本进一步锐减。务必先决定策略——是删整行？插补后再检？还是把 NaN 视为一类特殊异常？这个选择比算法本身影响更大。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
