标准差法用np.abs(df['col']-mean)>kstd识别异常，需先dropna；iqr法用q1-1.5iqr和q3+1.5*iqr为界，对分布无假设；优先clip截断而非删除，避免破坏数据结构。
用 numpy.std 和 np.abs 快速识别标准差异常值
标准差法适合近似正态分布的数据，核心逻辑是：若某点偏离均值超过 k 倍标准差，就视为异常。但直接用 df['col'] > mean + k * std 容易漏掉负向异常，必须同时检查上下界。
实操建议：
- 取
k=3是常见起点（对应约 99.7% 置信区间），但实际中k=2更常用于敏感检测 - 务必先用
df['col'].dropna()清理缺失值，否则std返回nan - 避免在原始数据上直接布尔索引删除，先生成掩码：
mask = np.abs(df['col'] - df['col'].mean()) > 3 * df['col'].std() - 注意：若数据含大量离群点，均值和标准差会被拉偏，此时结果不可靠
用 scipy.stats.iqr 实现稳健的 IQR 异常值标记
IQR 法不依赖分布假设，用四分位距（Q3 - Q1）定义边界，对极端值更鲁棒。但 scipy.stats.iqr 默认返回标量，需配合 np.quantile 手动算边界才便于向量化操作。
实操建议：
- 别直接调
iqr(df['col'])后硬编码系数，应显式计算：q1 = np.quantile(df['col'], 0.25)、q3 = np.quantile(df['col'], 0.75)、iqr = q3 - q1 - 下界用
q1 - 1.5 * iqr，上界用q3 + 1.5 * iqr——这是 Tukey 箱线图标准，不是可调参数 - 若数据存在大量重复值（如评分 0/1/5 占比极高），
q1或q3可能等于中位数，导致 IQR=0，需加判断：if iqr == 0: raise ValueError("IQR is zero, cannot detect outliers") - 对时间序列或分组数据，必须按组分别计算 IQR，不能全量统算
处理异常值时，clip 比 drop 更少破坏样本结构
直接删行（df = df[~mask]）看似干净，但会改变原始索引连续性、影响后续时间对齐或模型交叉验证划分。尤其在多列关联场景下，单列异常不该牵连其他有效字段。
实操建议：
- 优先用
df['col'] = df['col'].clip(lower=low_bound, upper=high_bound)截断到边界值 - 若需保留“是否异常”信号，新增布尔列：
df['col_is_outlier'] = mask，后续可作为特征或分组依据 - 对分类变量或 ID 类字段，绝不能套用数值型异常检测逻辑——会得到无意义的
std或q1 - 写入数据库前若需日志记录，用
df[mask].index.tolist()提取原始位置，比保存整行更省空间
为什么 pandas.Series.describe() 不该用于异常判定
describe() 返回的 min/max 是全局极值，不是异常阈值；25%/75% 虽可用于 IQR，但没提供 1.5×IQR 边界，且默认不包含 count 外的统计量（如峰度），容易误以为它能替代专用检测逻辑。
实操建议：
- 仅把
describe()当作探索性概览工具，不要从中提取max当上界来过滤 - 若需批量处理多列，用
df.select_dtypes(include=[np.number])先筛出数值列，再逐列应用 IQR 或 std 逻辑 - 警惕
describe(percentiles=[.01, .99])—— 这只是分位数快照，不是异常定义，1% 分位点本身可能就是异常聚集区
异常检测真正的难点不在公式，而在于「异常」本身的业务定义是否清晰。比如用户登录间隔 10 小时，在电商场景可能是正常行为，在银行转账场景却极可能代表账号被盗——算法只输出候选点，最终阈值和处置方式得由领域逻辑兜底。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
