使用 IAMB 算法进行特征选择：浅谈机器学习

所以，故事是这样的——我最近完成了庄教授的一项学校作业，其中涉及一种非常酷的算法，称为增量关联马尔可夫毯子（IAMB）。现在，我没有数据科学或统计学的背景，所以这对我来说是新领域，但我喜欢学习新东西。目标？使用 IAMB 选择数据集中的特征并查看它如何影响机器学习模型的性能。

我们将回顾 IAMB 算法的基础知识，并将其应用于 Jason Brownlee 数据集中的 Pima Indians Diabetes Dataset。该数据集跟踪女性的健康数据，包括她们是否患有糖尿病。我们将使用IAMB来找出哪些特征（例如BMI或血糖水平）对于预测糖尿病最重要。

什么是IAMB算法，为什么使用它？

IAMB 算法就像一个朋友，可以帮助您清理谜团中的嫌疑人列表 - 它是一种特征选择方法，旨在仅挑选出对预测目标真正重要的变量。在本例中，目标是某人是否患有糖尿病。

• 正向阶段：添加与目标强相关的变量。
• 向后阶段：删除那些没有真正帮助的变量，确保只留下最关键的变量。

简单来说，IAMB 通过仅选择最相关的特征来帮助我们避免数据集中的混乱。当您想让事情变得简单、提高模型性能并加快训练时间时，这尤其方便。

来源： 大规模马尔可夫毯子发现算法

这是什么阿尔法事物，为什么它很重要？

这就是 alpha 的用武之地。在统计学中，alpha (α) 是我们设置的阈值，用于决定什么算作“具有统计显着性”。作为教授指示的一部分，我使用了 0.05 的 alpha，这意味着我只想保留与目标变量随机关联的概率小于 5% 的特征。因此，如果某个特征的 p 值 小于 0.05，则意味着与我们的目标存在很强的、具有统计显着性的关联。

通过使用这个 alpha 阈值，我们只关注最有意义的变量，忽略任何未通过“显着性”测试的变量。它就像一个过滤器，保留最相关的特征并剔除噪音。

动手实践：在皮马印第安人糖尿病数据集上使用IAMB

设置如下：皮马印第安人糖尿病数据集具有健康特征（血压、年龄、胰岛素水平等）和我们的目标，结果（是否有人患有糖尿病）。

首先，我们加载数据并检查：

import pandas as pd
# Load and preview the dataset
url = 'https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv'
column_names = ['Pregnancies', 'Glucose', 'BloodPressure', 'SkinThickness', 'Insulin', 'BMI', 'DiabetesPedigreeFunction', 'Age', 'Outcome']
data = pd.read_csv(url, names=column_names)
print(data.head())

实施 Alpha = 0.05 的 IAMB

这是我们的 IAMB 算法的更新版本。我们使用 p 值 来决定保留哪些特征，因此仅选择那些 p 值小于我们的 alpha (0.05) 的特征。

import pingouin as pg
def iamb(target, data, alpha=0.05):
    markov_blanket = set()
    # Forward Phase: Add features with a p-value < alpha
    for feature in data.columns:
        if feature != target:
            result = pg.partial_corr(data=data, x=feature, y=target, covar=markov_blanket)
            p_value = result.at[0, 'p-val']
            if p_value < alpha:
                markov_blanket.add(feature)
    # Backward Phase: Remove features with p-value > alpha
    for feature in list(markov_blanket):
        reduced_mb = markov_blanket - {feature}
        result = pg.partial_corr(data=data, x=feature, y=target, covar=reduced_mb)
        p_value = result.at[0, 'p-val']
        if p_value > alpha:
            markov_blanket.remove(feature)
    return list(markov_blanket)

# Apply the updated IAMB function on the Pima dataset
selected_features = iamb('Outcome', data, alpha=0.05)
print("Selected Features:", selected_features)

当我运行此程序时，它为我提供了一份详细的功能列表，IAMB 认为这些功能与糖尿病结果最密切相关。此列表有助于缩小我们构建模型所需的变量范围。

Selected Features: ['BMI', 'DiabetesPedigreeFunction', 'Pregnancies', 'Glucose']

测试IAMB选择的特征对模型性能的影响

一旦我们选择了特征，真正的测试就会将模型性能与所有特征与IAMB选择的特征进行比较。为此，我使用了一个简单的高斯朴素贝叶斯模型，因为它很简单并且在概率方面表现良好（这与整个贝叶斯氛围相关）。

这是训练和测试模型的代码：

from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import GaussianNB
from sklearn.metrics import accuracy_score, f1_score, roc_auc_score

# Split data
X = data.drop('Outcome', axis=1)
y = data['Outcome']

X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

# Model with All Features
model_all = GaussianNB()
model_all.fit(X_train, y_train)
y_pred_all = model_all.predict(X_test)

# Model with IAMB-Selected Features
X_train_selected = X_train[selected_features]
X_test_selected = X_test[selected_features]

model_iamb = GaussianNB()
model_iamb.fit(X_train_selected, y_train)
y_pred_iamb = model_iamb.predict(X_test_selected)

# Evaluate models
results = {
    'Model': ['All Features', 'IAMB-Selected Features'],
    'Accuracy': [accuracy_score(y_test, y_pred_all), accuracy_score(y_test, y_pred_iamb)],
    'F1 Score': [f1_score(y_test, y_pred_all, average='weighted'), f1_score(y_test, y_pred_iamb, average='weighted')],
    'AUC-ROC': [roc_auc_score(y_test, y_pred_all), roc_auc_score(y_test, y_pred_iamb)]
}

results_df = pd.DataFrame(results)
display(results_df)

结果

比较如下：

仅使用IAMB选择的功能可以略微提高准确性和其他指标。这并不是一个巨大的飞跃，但我们用更少的功能获得更好的性能这一事实是有希望的。另外，这意味着我们的模型不依赖“噪音”或不相关的数据。

要点

• IAMB 非常适合特征选择：它通过仅关注对预测目标真正重要的内容来帮助清理我们的数据集。
• 少即是多：有时，更少的特征会给我们带来更好的结果，正如我们在这里看到的，模型准确性略有提高。
• 学习和实验是有趣的部分：即使没有深厚的数据科学背景，深入研究这样的项目也可以开辟理解数据和机器学习的新方法。

我希望这能给 IAMB 一个友好的介绍！如果您好奇，请尝试一下 - 它是机器学习工具箱中的一个方便的工具，您可能会在自己的项目中看到一些很酷的改进。

来源： 大规模马尔可夫毯子发现算法

以上是使用 IAMB 算法进行特征选择：浅谈机器学习的详细内容。更多信息请关注PHP中文网其他相关文章！