DeepChecksチュートリアル：機械学習テストの自動化

このチュートリアルでは、データの検証と機械学習モデルのテストのためのディープチェックを調査し、自動テストとアーティファクトの作成のためのGitHubアクションを活用します。 機械学習テストの原則、DeepChecks機能、および完全な自動ワークフローをカバーします。

著者による画像

機械学習テストの理解

効果的な機械学習には、単純な精度メトリックを超えて厳密なテストが必要です。 バイアス検出、誤検知/ネガ、パフォーマンスメトリック、スループット、AI倫理との調整など、公平性、堅牢性、および倫理的考慮事項を評価する必要があります。 これには、データ検証、交差検証、F1スコア計算、混乱マトリックス分析、ドリフト検出（データと予測）などの手法が含まれます。 データ分割（トレーニング/テスト/検証）は、信頼できるモデル評価には重要です。 このプロセスを自動化することは、信頼できるAIシステムを構築するための鍵です。

初心者の場合、Pythonスキルトラックを使用した機械学習の基礎は、しっかりした基盤を提供します。 オープンソースのPythonライブラリである

DeepChecksは、包括的な機械学習テストを簡素化します。モデルのパフォーマンス、データの整合性、および配布のための組み込みチェックを提供し、信頼できるモデル展開の継続的な検証をサポートします。

deepchecks PIPを使用してディープチェックをインストールします：

データの読み込みと準備（ローンデータセット）

DataCampからローンデータデータセットを使用します

pip install deepchecks --upgrade -q

DeepChecksデータセットを作成します：

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

データの整合性テスト

DeepChecksのデータインテグリティスイートは、自動チェックを実行します

これは、機能ラベルの相関、機能の相関、単一値チェック、特別な文字検出、ヌル値分析、データ型の一貫性、文字列のミスマッチ、文字列検出、文字列長の検証、矛盾するラベル、および外れ値の検出をカバーするレポートを生成します。

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

レポートを保存します：

個々のテスト実行

from deepchecks.tabular.suites import data_integrity
integ_suite = data_integrity()
suite_result = integ_suite.run(deep_loan_data)
suite_result.show_in_iframe() # Use show_in_iframe for DataLab compatibility

効率については、個々のテストを実行してください：

deepchecksを使用したモデル評価

suite_result.save_as_html()

アンサンブルモデル（ロジスティック回帰、ランダムフォレスト、ガウスナイーブベイズ）をトレーニングし、ディープチェックを使用して評価します。

pip install deepchecks --upgrade -q

モデル評価レポートには、ROC曲線、セグメントのパフォーマンスの弱さ、未使用の機能検出、トレインテストのパフォーマンス比較、予測ドリフト分析、単純なモデルの比較、モデル推論時間、混乱マトリックスなどが含まれます。

json出力：

import pandas as pd
loan_data = pd.read_csv("loan_data.csv")
loan_data.head()

個々のテストの例（ラベルドリフト）：

from sklearn.model_selection import train_test_split
from deepchecks.tabular import Dataset

label_col = 'not.fully.paid'
deep_loan_data = Dataset(loan_data, label=label_col, cat_features=["purpose"])

githubアクションで自動化する このセクションでは、データ検証とモデルテストを自動化するためのGitHubアクションワークフローのセットアップを詳細に説明します。 このプロセスには、リポジトリの作成、データとPythonスクリプトの追加（

、

）、およびこれらのスクリプトを実行して結果をアーティファクトとして保存するGitHubアクションワークフロー（data_validation.py）の構成が含まれます。 詳細な手順とコードスニペットは、元の入力で提供されています。 完全な例については、train_validation.pyリポジトリを参照してください。 ワークフローは、main.yml、kingabzpro/Automating-Machine-Learning-Testing、およびactions/checkoutアクションを使用します。actions/setup-python actions/upload-artifact

結論

ディープチェックとGitHubアクションを使用した機械学習テストの自動化により、効率と信頼性が大幅に向上します。 問題の早期検出により、モデルの精度と公平性が向上します。 このチュートリアルは、このワークフローを実装するための実用的なガイドを提供し、開発者がより堅牢で信頼できるAIシステムを構築できるようにします。 この分野でのさらなる開発のために、Pythonキャリアトラックを備えた機械学習科学者を検討してください。

以上がDeepChecksチュートリアル：機械学習テストの自動化の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。