デシジョン ツリー分類子を使用して、データ セット内の主要な特徴の選択方法を決定する

デシジョン ツリー分類器は、ツリー構造に基づく教師あり学習アルゴリズムです。データセットを複数の意思決定単位に分割し、各単位が特徴条件のセットと予測出力値に対応します。分類タスクでは、決定木分類器はトレーニング データ セット内の特徴とラベル間の関係を学習することによって決定木モデルを構築し、新しいサンプルを対応する予測出力値に分類します。このプロセスでは、重要な機能を選択することが重要です。この記事では、デシジョン ツリー分類子を使用してデータセットから重要な特徴を選択する方法について説明します。

1. 特徴選択の重要性

特徴選択は、ターゲット変数をより正確に予測し、元のデータから最も代表的なものを選択することです。セットの性的特徴。実際のアプリケーションでは、多くの冗長な特徴や無関係な特徴が存在する可能性があり、これらがモデルの学習プロセスを妨げ、モデルの汎化能力の低下につながります。したがって、最も代表的な特徴のセットを選択すると、モデルのパフォーマンスを効果的に向上させ、過剰適合のリスクを軽減できます。

2. 特徴選択にデシジョン ツリー分類子を使用する

デシジョン ツリー分類子は、ツリー構造に基づく分類子です。情報獲得を使用して機能の重要性を評価します。得られる情報が大きいほど、分類結果に対する特徴の影響も大きくなります。したがって、決定木分類器では、より大きな情報利得を持つ特徴が分類のために選択されます。特徴選択の手順は次のとおりです:

1. 各特徴の情報利得を計算します

情報利得とは影響度を指します分類結果の特徴量。エントロピーによって測定できます。エントロピーが小さいほど、データセットの純度は高くなります。これは、分類に対する特徴の影響が大きくなることを意味します。決定木分類器では、各特徴の情報ゲインは次の式を使用して計算できます:

\operatorname{Gain}(F)=\operatorname{Ent}(S)-\ sum_ {v\in\operatorname{Values}(F)}\frac{\left|S_{v}\right|}{|S|}\operatorname{Ent}\left(S_{v}\right)

このうち、 \operatorname{Ent}(S) はデータ集合 S のエントロピーを表し、 \left|S_{v}\right| は特徴 F 値が v であるサンプル集合を表します, \operatorname{ Ent}\left(S_{v}\right) は、値 v のサンプルセットのエントロピーを表します。得られる情報が大きくなるほど、この機能が分類結果に与える影響も大きくなります。

2. 最大の情報利得を持つ特徴を選択します

各特徴の情報利得を計算した後、最大の情報を持つ特徴を選択します分類器の分割特徴としてのゲイン。次に、この特徴に基づいてデータ セットが複数のサブセットに分割され、停止条件が満たされるまで各サブセットに対して上記の手順が再帰的に実行されます。

3. 停止条件

• #決定木分類子による決定木を再帰的に構築するプロセスは、停止条件を満たす必要があります。通常、次の条件が含まれます。 ケース:
• サンプル セットが空であるか、1 つのカテゴリのサンプルのみが含まれており、サンプル セットがリーフ ノードに分割されています。
• すべての特徴の情報利得は特定のしきい値未満であり、サンプル セットはリーフ ノードに分割されます。
• ツリーの深さが事前に設定された最大値に達し、サンプル セットがリーフ ノードに分割されます。

4. 過学習の回避

#​​

##デシジョン ツリーを構築するとき、過学習を避けるために枝刈り技術を使用できます。枝刈りとは、モデルの複雑さを軽減し、汎化能力を向上させるために、生成された決定木を枝刈りし、いくつかの不要な枝を削除することを指します。一般的に使用される剪定方法には、前剪定と​​後剪定があります。

事前枝刈りとは、決定木の生成プロセス中に各ノードを評価することを意味します。現在のノードの分割によってモデルのパフォーマンスが改善できない場合、分割は停止され、ノードはノードはリーフノードとして設定されます。事前剪定の利点は計算が簡単なことですが、欠点はアンダーフィットになりやすいことです。

ポスト枝刈りとは、デシジョン ツリーが生成された後に、生成されたデシジョン ツリーを枝刈りすることを指します。具体的な方法は、決定木の一部のノードを葉ノードに置き換え、枝刈り後のモデルのパフォーマンスを計算するというものです。プルーニング後にモデルのパフォーマンスが低下せずに増加した場合、プルーニングされたモデルは保持されます。ポスト枝刈りの利点は、過剰適合を軽減できることですが、欠点は計算が複雑になることです。

以上がデシジョン ツリー分類子を使用して、データ セット内の主要な特徴の選択方法を決定するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。