用quantile()和IQR法识别离群点更稳健，推荐先计算上下界再布尔索引；clip()比replace()更适合极值截断；mask()/where()可选择性屏蔽异常值；分组检测（如groupby().transform()）能发现局部异常，需注意小分组和数据范围污染问题。
用 quantile() 和布尔索引快速识别离群点
直接用分位数判断比设固定阈值更稳健，尤其当数据分布偏斜时。quantile() 返回的是数值，不是索引，别误当成 loc 的输入。常见错误是写成 df.loc[df['x'] > df['x'].quantile(0.95)] 却忘了加括号包裹条件表达式，导致语法报错。
推荐做法是先算出上下界，再用布尔索引过滤：
q1 = df['col'].quantile(0.25) q3 = df['col'].quantile(0.75) iqr = q3 - q1 lower_bound = q1 - 1.5 * iqr upper_bound = q3 + 1.5 * iqr outliers = df[(df['col'] upper_bound)]
- 用
1.5 * IQR是默认经验规则，业务敏感场景可调为2.0或3.0 -
quantile()默认插值方式是'linear'，对少量重复值影响明显，必要时显式传interpolation='midpoint' - 空值（
NaN）在quantile()中自动被忽略，但布尔索引会保留原NaN位置——若想排除，需提前用dropna()或加& df['col'].notna()
用 clip() 替代 replace() 实现极值截断
很多人习惯用 replace() 配合字典去“替换”异常值，但这样既慢又容易漏掉边界情况；clip() 是向量化操作，语义清晰、性能高，且天然支持上下限同时设置。
例如把 'price' 列限制在 100–5000 范围内：
df['price'] = df['price'].clip(lower=100, upper=5000)
-
clip()对NaN保持原样，不干扰缺失值逻辑 - 若只设一侧，比如仅压制高值，就只传
upper=，另一侧留空（不是传None） - 注意：
clip()返回新 Series，必须赋值回列，否则原 DataFrame 不变 - 和
np.clip()行为一致，但clip()支持 pandas 的 datetime、timedelta 类型，而np.clip()会报错
用 mask() 或 where() 有选择地屏蔽异常值
有时你不想删或截断，而是想临时“遮住”异常值参与后续计算（比如求均值时排除它们），mask() 比手写布尔索引更直观。
比如将所有超过 3 倍标准差的值设为 NaN：
mean_val = df['col'].mean() std_val = df['col'].std() df['col_clean'] = df['col'].mask(abs(df['col'] - mean_val) > 3 * std_val)
-
mask(cond)把满足条件的位置设为NaN；where(cond)正好相反，只保留满足条件的值，其余变NaN - 标准差法对非正态分布容易误杀，尤其小样本下
std()本身不稳定，建议仅作辅助参考 - 如果原列含
NaN，std()默认跳过，但mask()条件表达式里要小心NaN参与比较会得False，导致异常值没被覆盖——加na_action='ignore'不生效，稳妥做法是先用fillna()或明确用cond & df['col'].notna()
别忽略 groupby 后的分组异常检测
单看全局分位数可能掩盖局部异常。比如某地区销量普遍低，但其中一家店突然飙到 10 倍，全局 IQR 根本抓不出来。
用 groupby().transform() 实现分组标准化后检测：
df['z_score_by_region'] = df.groupby('region')['sales'].transform(
lambda x: (x - x.mean()) / x.std() if len(x) > 1 else 0
)
outliers_by_group = df[abs(df['z_score_by_region']) > 3]
-
transform()保证返回长度与原 DataFrame 一致，可直接用于布尔索引 - 必须处理分组大小为 1 的情况（
x.std()为NaN），否则整列变NaN - 分位数法也可分组做：
df.groupby('region')['sales'].transform(lambda x: x.quantile(0.95))，但注意transform内部函数返回标量时会被广播，无需apply
实际处理时，IQR 和分组检测往往要组合使用；最易被忽略的是：异常值判定依赖的数据范围是否已包含待检测样本自身——比如用全量数据算 IQR 后再剔除异常值，会导致边界被污染；严谨做法是用训练集算阈值，再应用于验证/测试集。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
