CRISP-ML(Q) の解釈: 機械学習ライフサイクル プロセス

翻訳者 | Bugatti

レビュアー | Sun Shujuan

現在、機械学習 (ML) アプリケーションを構築および管理するための標準的な実践方法はありません。機械学習プロジェクトは組織化が不十分で再現性に欠け、長期的には完全に失敗する傾向があります。したがって、機械学習のライフサイクル全体を通じて、品質、持続可能性、堅牢性、コスト管理を維持するためのプロセスが必要です。

図 1. 機械学習開発ライフサイクル プロセス

品質保証手法 (CRISP-ML(Q ) を使用して機械学習アプリケーションを開発するための業界を超えた標準プロセス) ) は、機械学習製品の品質を保証するための CRISP-DM のアップグレード バージョンです。

CRISP-ML (Q) には 6 つの個別のフェーズがあります:

1. ビジネスとデータの理解

2. データの準備

3. モデル エンジニアリング

4. モデルの評価

5. モデルの展開

6. モニタリングとメンテナンス

これらの段階では、より良いソリューションを構築するために継続的な反復と探索が必要です。フレームワークに順序がある場合でも、後のステージの出力によって、前のステージを再検討する必要があるかどうかが決まる可能性があります。

図 2. 各段階での品質保証

品質保証手法がフレームワークの各段階に導入されています。このアプローチには、パフォーマンス指標、データ品質要件、堅牢性などの要件と制約があります。これは、機械学習アプリケーションの成功に影響を与えるリスクを軽減するのに役立ちます。これは、システム全体を継続的に監視し、保守することで実現できます。

例: 電子商取引企業では、データとコンセプトのドリフトがモデルの劣化につながります。これらの変化を監視するシステムを導入しない場合、企業は損失、つまり顧客を失うことになります。

ビジネスとデータの理解

開発プロセスの開始時に、プロジェクトの範囲、成功基準、ML アプリケーションの実現可能性を決定する必要があります。その後、データ収集と品質検証のプロセスを開始しました。このプロセスは長く、困難を伴います。

対象範囲: 機械学習プロセスを使用して達成したいこと。顧客を維持するためでしょうか、それとも自動化によって運用コストを削減するためでしょうか?

成功基準: ビジネス、機械学習 (統計指標)、および経済 (KPI) の成功指標を明確で測定可能に定義する必要があります。

実現可能性: データの可用性、機械学習アプリケーションへの適合性、法的制約、堅牢性、スケーラビリティ、解釈可能性、リソース要件を確保する必要があります。

データ収集: データを収集し、再現性のためにバージョン管理し、実際のデータと生成されたデータの継続的なフローを確保します。

データ品質検証: データの説明、要件、検証を維持することで品質を確保します。

品質と再現性を確保するには、データの統計的特性とデータ生成プロセスを記録する必要があります。

データの準備

第 2 段階は非常に簡単です。モデリングフェーズに向けてデータを準備します。これには、データ選択、データ クリーニング、特徴エンジニアリング、データ拡張および正規化が含まれます。

1. 特徴の選択、データの選択、およびオーバーサンプリングまたはアンダーサンプリングによる不均衡なクラスの処理から始めます。

2. 次に、ノイズの削減と欠損値の処理に重点を置きます。品質保証の目的で、誤った値を減らすためにデータ単体テストを追加します。

3. モデルに応じて、ワンホット エンコーディングやクラスタリングなどの特徴エンジニアリングとデータ拡張を実行します。

4. データを正規化して拡張します。これにより、特徴に偏りが生じるリスクが軽減されます。

再現性を確保するために、データ モデリング、変換、および特徴量エンジニアリングのパイプラインを作成しました。

モデル エンジニアリング

ビジネスおよびデータ理解フェーズの制約と要件によって、モデリング フェーズが決まります。私たちはビジネス上の問題と、それを解決するための機械学習モデルをどのように開発するかを理解する必要があります。私たちはモデルの選択、最適化、トレーニングに重点を置き、モデルのパフォーマンス指標、堅牢性、スケーラビリティ、解釈可能性を確保し、ストレージとコンピューティング リソースを最適化します。

1. モデル アーキテクチャおよび同様のビジネス上の問題に関する調査。

2. モデルのパフォーマンス指標を定義します。

3. モデルの選択。

4. 専門家を統合することでドメインの知識を理解します。

5. モデルのトレーニング。

6. モデルの圧縮と統合。

品質と再現性を確保するために、モデル アーキテクチャ、トレーニングおよび検証データ、ハイパーパラメーター、環境記述などのモデル メタデータを保存し、バージョン管理します。

最後に、ML 実験を追跡し、ML パイプラインを作成して、反復可能なトレーニング プロセスを作成します。

モデル評価

これは、モデルをテストして展開の準備ができていることを確認する段階です。

• テスト データ セットでモデルのパフォーマンスをテストします。
• ランダムまたは偽のデータを提供してモデルの堅牢性を評価します。
• 規制要件を満たすためにモデルの解釈可能性を強化します。
• 自動的に、またはドメインの専門家が協力して、結果を初期の成功指標と比較します。

評価フェーズのすべてのステップは、品質保証のために文書化されます。

モデルのデプロイメント

モデルのデプロイメントは、機械学習モデルを既存のシステムに統合する段階です。このモデルは、サーバー、ブラウザ、ソフトウェア、エッジ デバイスに展開できます。モデルからの予測は、BI ダッシュボード、API、Web アプリケーション、プラグインで利用できます。

モデル展開プロセス:

• ハードウェア推論を定義します。
• 実稼働環境でのモデルの評価。
• ユーザーの受け入れやすさと使いやすさを確保します。
• 損失を最小限に抑えるためのバックアップ計画を提供します。
• 導入戦略。

監視とメンテナンス

運用環境のモデルには、継続的な監視とメンテナンスが必要です。モデルの適時性、ハードウェアのパフォーマンス、ソフトウェアのパフォーマンスを監視します。

継続的なモニタリングはプロセスの最初の部分です。パフォーマンスがしきい値を下回った場合、新しいデータでモデルを再トレーニングするかどうかが自動的に決定されます。さらに、メンテナンス部分はモデルの再トレーニングに限定されません。それには、ビジネス ユースケースに基づいた意思決定メカニズム、新しいデータの取得、ソフトウェアとハ​​ードウェアの更新、ML プロセスの改善が必要です。

つまり、ML モデルの継続的な統合、トレーニング、デプロイです。

結論

モデルのトレーニングと検証は、ML アプリケーションのごく一部です。最初のアイデアを現実にするには、いくつかのプロセスが必要です。この記事では、CRISP-ML(Q) と、CRISP-ML(Q) がリスク評価と品質保証にどのように重点を置いているかを紹介します。

最初にビジネス目標を定義し、データを収集してクリーンアップし、モデルを構築し、テスト データ セットでモデルを検証してから、実稼働環境にデプロイします。

このフレームワークの主要なコンポーネントは、継続的な監視とメンテナンスです。データとソフトウェアおよびハードウェアのメトリクスを監視して、モデルを再トレーニングするかシステムをアップグレードするかを決定します。

機械学習の運用が初めてで、さらに詳しく知りたい場合は、DataTalks.Club によってレビューされた 無料の MLOps コース をお読みください。 6 つのフェーズすべてで実践的な経験を積み、CRISP-ML の実際的な実装を理解します。

元のタイトル: CRISP-ML(Q) の理解: 機械学習ライフサイクル プロセス ,著者: アビッド・アリ・アワン

以上がCRISP-ML(Q) の解釈: 機械学習ライフサイクル プロセスの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。