在 Python 中处理离群值 - IQR 方法

介绍

在从现实世界的数据中发现任何见解之前，检查您的数据以确保数据一致且没有错误非常重要。但是，数据可能包含错误，并且某些值可能看起来与其他值不同，这些值称为异常值。异常值会对数据分析产生负面影响，导致错误的见解，从而导致利益相关者做出错误的决策。因此，处理异常值是数据科学中数据预处理阶段的关键步骤。在本文中，我们将评估处理异常值的不同方法。

异常值

异常值是与数据集中的大多数数据点显着不同的数据点。它们是超出特定变量的预期或通常值范围的值。异常值的出现有多种原因，例如数据输入过程中的错误、采样错误。在机器学习中，异常值可能会导致您的模型做出错误的预测，从而导致预测不准确。

使用 Jupyter Notebook 检测数据集中的异常值

• 导入Python库

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import warnings
warnings.filterwarnings('ignore')
plt.style.use('ggplot')

• 使用 pandas 加载 csv 文件

df_house_price = pd.read_csv(r'C:\Users\Admin\Desktop\csv files\housePrice.csv')

• 检查前五行房价数据集，以了解您的数据框架

df_house_price.head()

• 使用箱线图检查价格列中的异常值

sns.boxplot(df_house_price['Price'])
plt.title('Box plot showing outliers in prices')
plt.show()

• 从箱线图可视化中，价格列具有异常值
• 现在我们必须想出方法来处理这些异常值，以确保更好的决策并确保机器学习模型做出正确的预测

IQR 处理异常值的方法

• IQR 方法意味着四分位数间距衡量数据中间一半的分布。这是样本中间 50% 的范围。

使用四分位距删除异常值的步骤

• 计算第一个四分位数 (Q1)，即数据的 25% 和第三四分位数 (Q3)，即数据的 75%。

Q1 = df_house_price['Price'].quantile(0.25)
Q3 = df_house_price['Price'].quantile(0.75)

• 计算四分位数范围

IQR = Q3 - Q1

• 确定异常值边界。

lower_bound = Q1 - 1.5 * IQR

• 下限意味着任何低于 -5454375000.0 的值都是异常值

upper_bound = Q3 + 1.5 * IQR

• 上限意味着任何高于 12872625000.0 的值都是异常值

• 删除价格列中的异常值
  

filt = (df_house_price['Price'] >= lower_bound) & (df_house_price['Price'] <= upper_bound)

df = df_house_price[filt]
df.head()

• 去除异常值后的箱线图

sns.boxplot(df['Price'])
plt.title('Box plot after removing outliers')
plt.show()

处理异常值的不同方法

• Z 分数法
• 百分位数上限（缩尾）
• 修剪（截断）
• 插补
• 基于聚类的方法，例如 DBSCAN

结论

IQR 方法简单且对异常值具有鲁棒性，并且不依赖于正态性假设。缺点是它只能处理单变量数据，如果数据倾斜或有重尾，它会删除有效的数据点。

谢谢
在链接和 github 上关注我以了解更多信息。

以上是在 Python 中处理离群值 - IQR 方法的详细内容。更多信息请关注PHP中文网其他相关文章！