Deepnecks教程：自动化机器学习测试

>本教程探讨了用于数据验证和机器学习模型测试的深检查，并利用GitHub动作来进行自动测试和创建人工制品。 我们将介绍机器学习测试原理，DEEPNACKS功能和完整的自动化工作流程。

>由作者 图像

>

了解机器学习测试

有效的机器学习需要超出简单准确度指标的严格测试。 我们必须评估公平性，鲁棒性和道德考虑因素，包括偏见检测，误报/负面因素，绩效指标，吞吐量以及与AI伦理的一致性。 这涉及数据验证，交叉验证，F1得分计算，混淆矩阵分析和漂移检测（数据和预测）。 数据拆分（火车/测试/验证）对于可靠的模型评估至关重要。 自动化此过程是构建可靠的AI系统的关键。

对于初学者来说，带有Python技能轨迹的机器学习基础为

提供了坚实的基础。

Deepchecks，一个开源Python库，简化了全面的机器学习测试。它为模型性能，数据完整性和分配提供内置检查，并支持可靠模型部署的连续验证。

>

开始使用deepchecks

> >使用PIP安装深部检查：

pip install deepchecks --upgrade -q

数据加载和准备（贷款数据集）

> 我们将使用DataCamp的贷款数据数据集。

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

创建一个deepchecks数据集：

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

数据完整性测试

> DeepChecks的数据完整性套件执行自动检查。>

这会生成一个报告覆盖：特征标签相关，特征 - 功能相关，单个值检查，特殊字符检测，零值分析，数据类型一致性，字符串不匹配，重复检测，字符串长度验证，冲突的标签和异常检测。

from deepchecks.tabular.suites import data_integrity
integ_suite = data_integrity()
suite_result = integ_suite.run(deep_loan_data)
suite_result.show_in_iframe() # Use show_in_iframe for DataLab compatibility

保存报告：

单个测试执行

suite_result.save_as_html()

为了效率，请进行单个测试：

使用Deepchecks的模型评估

from deepchecks.tabular.checks import IsSingleValue, DataDuplicates
result = IsSingleValue().run(deep_loan_data)
print(result.value) # Unique value counts per column

result = DataDuplicates().run(deep_loan_data)
print(result.value) # Duplicate sample count

我们将训练一个合奏模型（逻辑回归，随机森林，高斯幼稚的贝叶斯），并使用deepchecks对其进行评估。

pip install deepchecks --upgrade -q

模型评估报告包括：ROC曲线，弱段性能，未使用的功能检测，火车测试性能比较，预测漂移分析，简单模型比较，模型推理时间，混乱矩阵等

JSON输出：

单个测试示例（标签漂移）：

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

>使用github Action自动

> >本节详细介绍了设置github操作工作流程以自动化数据验证和模型测试。 该过程涉及创建一个存储库，添加数据和Python脚本（

，

），并配置GitHub Actions WorkFlow（data_validation.py）以执行这些脚本并将结果保存为工件。 原始输入中提供了详细的步骤和代码段。 有关一个完整的示例，请参阅train_validation.py>存储库。 工作流利用main.yml>，kingabzpro/Automating-Machine-Learning-Testing和actions/checkout> action。 actions/setup-pythonactions/upload-artifact

结论

>使用Deepchecks和GitHub操作自动化机器学习测试可显着提高效率和可靠性。 早期发现问题可以增强模型的准确性和公平性。 本教程提供了实施此工作流程的实用指南，使开发人员能够构建更健壮和值得信赖的AI系统。 考虑使用Python职业生涯的机器学习科学家，以在该领域进一步发展。

以上是Deepnecks教程：自动化机器学习测试的详细内容。更多信息请关注PHP中文网其他相关文章！