describe()和箱线图可快速定位异常值，iqr法稳健适用于偏态分布，zscore适用于正态分布，多变量需isolationforest等算法，异常处理应结合业务逻辑而非简单删除或填充。
用 describe() 和箱线图快速定位异常值
直接看数值分布比猜更可靠。describe() 能一次性给出 count、mean、std、min、25%、50%（中位数）、75%、max，重点关注 min/max 与 25%/75% 的差距——如果 max 远大于 75% + 1.5×IQR，大概率是异常值。
配合 df.boxplot() 或 sns.boxplot() 可视化，能直观看到离群点位置。注意：箱线图默认用 IQR 法（Q1 - 1.5×IQR / Q3 + 1.5×IQR），不是标准差法，对偏态分布更稳健。
- 对单列操作：
Q1 = df['col'].quantile(0.25); Q3 = df['col'].quantile(0.75); IQR = Q3 - Q1 - 异常值上下界：
lower_bound = Q1 - 1.5 * IQR; upper_bound = Q3 + 1.5 * IQR - 筛选异常行：
df[(df['col'] upper_bound)]
用 zscore 判定标准正态假设下的异常值
当数据近似正态分布时，scipy.stats.zscore() 比 IQR 更敏感。|z| > 3 是常用阈值，但别机械套用——样本量小（
实际用法要带 axis=0（按列标准化），否则整表一起算会失真：
from scipy.stats import zscorez_scores = zscore(df.select_dtypes(include='number'), axis=0)-
outlier_mask = (np.abs(z_scores) > 3).any(axis=1)—— 行级判定，任一数值超阈即标为异常 - 注意：
zscore对缺失值默认跳过，但输入含NaN会导致对应位置输出nan，需提前用dropna()或fillna()
处理异常值不是只有「删」和「填」两种选择
直接 drop 或填 mean/median 是最简方案，但常破坏业务逻辑。比如用户充值金额出现 9999999，大概率是录入错误，但删掉可能丢失高价值用户线索；又比如传感器读数突增，可能是真实事件，简单截断会掩盖故障信号。
- 保留原始列，新增标记列：
df['col_is_outlier'] = ((df['col'] upper_bound)) - 分情况处理：对明显录入错误（如负年龄、超长手机号），用
np.where()替换为None；对合理极值（如 VIP 用户订单额），单独建模或加权重 - 慎用
clip(lower=lower_bound, upper=upper_bound)—— 它把所有异常值“压”到边界，会人为制造大量重复值，影响后续聚类或树模型分裂
多变量异常检测要避开「逐列筛」陷阱
单变量方法会漏掉组合型异常：比如「年龄=25」和「月消费=50000」各自正常，但同时出现就可疑。此时需用 IsolationForest 或 LocalOutlierFactor。
sklearn.ensemble.IsolationForest 训练快、对高维友好，但结果不稳定（随机种子影响大）；sklearn.neighbors.LocalOutlierFactor 更适合局部密度异常，但内存消耗大、参数 n_neighbors 需调优。
- 必须只传数值特征：
df_num = df.select_dtypes(include='number').dropna() - 推荐先标准化：
from sklearn.preprocessing import StandardScaler; df_scaled = StandardScaler().fit_transform(df_num) -
clf = IsolationForest(contamination=0.05, random_state=42)——contamination设太高会过拟合，设太低会漏检，建议从 0.01 开始试 - 输出是
-1（异常）/1（正常），不是概率，别当置信度用
真正麻烦的不是算法选哪个，而是异常定义本身——得和业务方确认：这个“异常”是噪声、错误，还是新现象？没共识，代码跑再快也白搭。
Python免费学习笔记（深入）：立即使用
在学习笔记中，你将探索 Python 的核心概念和高级技巧！
