3sigma需先检验正态性，非正态时宜用log变换；iqr法应调系数或分组计算；clip截断、mask置空、布尔索引删行效果迥异；z-score超3需结合业务判断真伪异常。
3Sigma 原理怎么写才不会误删正常数据
3Sigma 本质是假设数据服从正态分布，用 mean ± 3 * std 划定合理区间。但现实里很多数值列根本不是正态分布——比如用户停留时长、订单金额，右偏严重，直接套用会把大量真实高值当异常干掉。
实操建议：
- 先用
scipy.stats.shapiro或直方图 +statsmodels.api.qqplot粗略看下是否接近正态；不满足就别硬上 3Sigma - 对明显偏态数据，改用对数变换：
np.log1p(x)再算 3Sigma，完事再np.expm1回去 -
std对离群点极度敏感，建议用numpy.nanstd并提前剔除已知脏值（如 -1、999999 这类业务标记的缺失码） - 别一次性全删，先
mask = (x upper)标记，用x[mask].describe()看下被标出的数据分布再决定动作
箱线图 IQR 法过滤时为什么总漏掉密集区边缘的异常点
IQR 方法靠 Q1 - 1.5 * IQR 和 Q3 + 1.5 * IQR 定边界，稳健但“分辨率”低——尤其当数据在 Q1/Q3 附近堆得很密，而尾巴拉得长时，IQR 会被中间大部分数据“锚定”，导致上下界太宽，尾部异常点逃逸。
实操建议：
- 系数 1.5 不是金科玉律，业务敏感场景可试
1.0（更激进）或2.2（更保守），用np.percentile(x, [25, 75])手动算避免调包歧义 - 单变量 IQR 对多峰数据失效，比如用户分新老客两群，各自有不同分布，应先按
groupby分组再算 IQR - 警惕
np.quantile默认插值方式（linear），小样本时改用method='closest_observation'更稳定 - 用
seaborn.boxplot叠加原始散点（stripplot=True）直观验证：如果散点在须外还成簇出现，大概率是子群体没拆开
Pandas 中用 clip、mask、布尔索引删异常值的区别在哪
三者目的相似，但副作用完全不同：一个改值、一个置空、一个删行，选错直接影响后续统计逻辑和模型输入维度。
实操建议：
-
df['col'].clip(lower, upper)是“截断”，把超限值压到边界——适合归一化前保量纲，但会人为制造大量重复极值点 -
df['col'].mask((df['col'] upper))是“打空”，变成NaN——后续若用dropna就丢整行，注意是否跨列关联 - 布尔索引
df = df[(df['col'] >= lower) & (df['col'] 是真删除——但必须确认该列无 <code>NaN，否则&会导致整行消失（NaN & True == False） - 所有操作前加
df = df.copy()，避免SettingWithCopyWarning静默失败
为什么用 scipy.stats.zscore 后过滤还是出错
zscore 默认按列计算，但如果传入的是 pd.Series，它返回仍是 ndarray，形状没变但索引对不上；更坑的是它不自动跳过 NaN，遇到缺失值直接让整个 z 值数组变 NaN。
实操建议：
- 务必加参数
nan_policy='omit'，否则zscore(x)遇到一个NaN就全崩 - 对
Series，别直接zscore(s)，改用scipy.stats.zscore(s.dropna())再对齐索引，或用sklearn.preprocessing.StandardScaler().fit_transform(s.values.reshape(-1, 1)).flatten() - z 得分绝对值 > 3 只是经验阈值，实际应结合
np.abs(z_scores) > 3后检查对应原始值是否符合业务常识（比如年龄 z=3.2 对应 127 岁，可能真异常；但 GMV z=3.2 对应 200 万，要查是不是大客户）
事情说清了就结束。真正难的从来不是公式怎么写，而是判断哪个点该信统计、哪个点该信业务日志。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
