機械学習で一般的に使用される 7 つの線形次元削減手法のまとめ

前回の記事では主に非線形次元削減手法についてまとめましたが、今回は一般的な線形次元削減手法についてまとめます。

1. 主成分分析 (PCA)

PCA は、データの整合性を維持しながら、高次元のデータセットをより管理しやすい低次元の表現に変換できる、広く使用されている次元削減手法です。 . 主な特徴。データ内で最大の分散を持つ方向 (主成分) を特定することにより、PCA はデータをこれらの方向に投影して、次元削減の目標を達成できます。

#PCA の中心となるアイデアは、元のデータを新しい座標系に変換してデータの分散を最大化することです。これらの新しい軸は主成分と呼ばれ、元の特徴の線形結合です。最大の分散を持つ主成分を保持すると、基本的にデータの重要な情報が保持されます。分散が小さい主成分を破棄することで、次元削減の目的を達成できます。

PCA の手順は次のとおりです。

1. 標準化データ: 各特徴の平均が 0、分散が 1 になるように元のデータを標準化します。
2. 共分散行列の計算: 標準化されたデータの共分散行列を計算します。
3. 固有値と固有ベクトルを計算する: 共分散行列に対して固有値分解を実行して、固有値と対応する固有ベクトルを取得します。
4. 主成分の選択: 固有値のサイズに従って、最初の k 個の固有ベクトルを主成分として選択します。ここで、k は次元削減後の次元です。
5. 投影データ: 元のデータを選択した主成分に投影して、次元を削減したデータ セットを取得します。

PCA は、データの次元削減、特徴抽出、パターン認識などのタスクに使用できます。 PCA を使用する場合は、データが線形分離可能性の基本的な前提を満たしていることを確認し、正確な次元削減効果を得るために必要なデータの前処理と理解を実行する必要があります。

2. 因子分析 (FA)

因子分析 (FA) は、観察された変数の根底にある構造や因子を特定するために使用される統計手法であり、原因となる潜在的な因子を明らかにすることを目的としています。観測変数間の共有分散を計算し、最終的には少数の無関係な変数に減らします。

FA は PCA に似ていますが、いくつかの重要な違いもあります。

1. 目的: PCA は最大分散の方向を見つけることを目的とし、FA は観測変数間の共通の変動を説明できる潜在的な変数 (因子) を見つけることを目的としています。
2. 仮定: PCA は観測変数が観測された元の特徴であると仮定しますが、FA は観測変数が潜在因子の線形結合とランダム誤差の合計であると仮定します。
3. 解釈性: PCA は、その主成分が元の特徴の線形結合であるため、より単純になる傾向があります。また、FA の因子は生の特徴ではなく観測変数の線形結合であるため、解釈がそれほど簡単ではない可能性があります。
4. 回転: FA では、解釈しやすくするために因子が回転されることがよくあります。

因子分析は、心理学、社会科学、市場調査などの分野で広く使用されています。データセットを簡素化し、基礎となる構造を発見し、測定誤差を減らすのに役立ちます。ただし、結果が解釈可能で有効であることを確認するには、因子の数と回転方法の選択に注意する必要があります。

3. 線形判別分析、LDA

線形判別分析 (LDA) は、次元削減と特徴抽出に使用される教師あり学習テクノロジーです。データの分散構造を考慮するだけでなく、データのカテゴリ情報も考慮するため、主成分分析 (PCA) とは異なります。 LDA は、異なるカテゴリ間の距離 (クラス間の広がり) を最大化し、同じカテゴリ内の距離 (クラス内の広がり) を最小化する投影方向を見つけることを目的としています。

LDA の主な手順は次のとおりです:

1. カテゴリの平均ベクトルを計算する: 各カテゴリについて、そのカテゴリにあるすべてのサンプルの平均ベクトルを計算します。
2. クラス内散布行列の計算: カテゴリごとに、そのカテゴリの下のすべてのサンプル間の散布行列とその平均ベクトルを計算し、それらを合計します。
3. クラス間の散布行列を計算する: すべてのカテゴリの平均ベクトルと全体の平均ベクトルの間の散布行列を計算します。
4. 固有値と固有ベクトルを計算する: 行列の逆行列にクラス間散乱行列を乗算し、得られた行列の固有値分解を実行して固有値と固有ベクトルを取得します。
5. 投影方向の選択: 最大の固有値を持つ上位 k 個の固有ベクトルを投影方向として選択します。ここで、k は次元削減後の次元です。
6. 投影データ: 元のデータを選択した投影方向に投影して、次元を削減したデータを取得します。

LDA の利点は、データのカテゴリ情報が考慮されるため、生成された投影で異なるカテゴリ間の差異をより適切に区別できることです。パターン認識、顔認識、音声認識などの分野で広く使用されています。 LDA は、複数のクラスやクラスの不均衡を扱うときに問題が発生する可能性があるため、特別な注意が必要です。

4. 固有分解

固有分解 (固有値分解) は、正方行列を分解するために使用される数学的手法です。正方行列を固有ベクトルのセットと固有値の積に分解します。固有ベクトルは変換中に方向が変わらない方向を表し、固有値は変換中にこれらの方向に沿ったスケーリングを表します。

正方行列 AA が与えられると、その固有値分解は次のように表されます。

ここで、Q は A A で表されます。固有ベクトルで構成される行列。Λ は対角行列で、その対角線上の要素が A の固有値です。

固有値分解には、主成分分析 (PCA)、固有顔認識、スペクトル クラスタリングなど、多くの用途があります。 PCA では、固有値分解を使用してデータの共分散行列の固有ベクトル、つまりデータの主成分を見つけます。スペクトル クラスタリングでは、固有値分解を使用して類似度マップの固有ベクトルを見つけ、それによってクラスタリングを実行します。固有顔認識では、固有値分解を使用して顔画像内の重要な特徴を識別します。

固有値分解は多くのアプリケーションで非常に役立ちますが、すべての正方行列を固有値分解できるわけではありません。たとえば、固有値分解は、特異行列や非正方行列に対しては実行できません。固有値分解は、大規模な行列の計算に非常に時間がかかる場合があります。

5. 特異値分解 (SVD)

特異値分解 (SVD) は行列分解の重要な手法です。これは、行列を 3 つの行列の積に分解します。これらの行列は、直交行列、対角行列、および別の直交行列の転置です。

m × n 行列 AA が与えられると、その特異値分解は次のように表されます。

ここで、U は m × m 直交行列 、左行列と呼ばれます特異ベクトル行列; Σ は m × n の対角行列であり、その対角上の要素は特異値と呼ばれます; VT は、右特異ベクトル行列と呼ばれる n × n 直交行列の転置です。

特異値分解は、データ圧縮、次元削減、逆行列解、推奨システムなどを含む幅広い用途があります。次元削減では、より大きな特異値を持つ項目のみが保持されるため、データの効果的な圧縮と表現が実現できます。レコメンデーション システムでは、ユーザーとアイテムの関係を特異値分解を通じてモデル化し、パーソナライズされたレコメンデーションを提供できます。

特異値分解は、特に特異行列の逆行列を解くためにも使用できます。より大きな特異値を持つ項を保持することにより、逆行列を近似的に解くことができ、それによって特異行列を反転する問題を回避できます。

6. 切り捨て特異値分解 (TSVD)

切り捨て特異値分解 (TSVD) は特異値分解 (SVD) の変形であり、計算で最も重要な特異値のみが使用されます。対応する特異ベクトルは、データの次元削減と圧縮を実現するために保持されます。

m × n 行列 AA が与えられると、その切り捨てられた特異値分解は次のように表されます。

ここで、Uk は m × k の直交行列 Σk です。は k × k 対角行列、VkT は k × n 直交行列の転置であり、これらの行列は最も重要な k 特異値と対応する特異ベクトルの保存に対応します。

TSVD の主な利点は、最も重要な特異値と特異ベクトルを保持することでデータの次元削減と圧縮を実現でき、それによってストレージとコンピューティングのコストが削減されることです。これは、必要なストレージ容量と計算時間を大幅に削減できるため、大規模なデータセットを扱う場合に特に便利です。

TSVD は、画像処理、信号処理、推奨システムなど、さまざまな分野で応用されています。これらのアプリケーションでは、TSVD を使用してデータの次元を削減し、ノイズを除去し、主要な特徴を抽出できます。

7. Non-Negative Matrix Factorization (NMF)

Non-Negative Matrix Factorization (NMF) は、データの分解と次元削減のための手法であり、分解および分解によって得られる行列によって特徴付けられます。ベクトルは両方とも非負です。このため、NMF は多くのアプリケーション、特にテキスト マイニング、画像処理、レコメンダー システムなどの分野で役立ちます。

非負行列 VV が与えられると、NMF はそれを 2 つの非負行列 WW と HH の積形式に分解します。

ここで、W はm × k の非負の行列は基底行列または特徴行列と呼ばれ、H は k × n の非負の行列で係数行列と呼ばれます。ここで、k は次元削減後の次元です。

NMF の利点は、すべての要素が負ではないため、物理的な意味を持った分解結果が得られることです。これにより、NMF はテキストマイニングで潜在的なトピックを発見したり、画像処理で画像の特徴を抽出したりすることができます。さらに、NMF にはデータの次元削減機能もあり、データの次元数と記憶領域を削減できます。

NMF のアプリケーションには、テキスト トピック モデリング、画像のセグメンテーションと圧縮、音声信号処理、推奨システムなどが含まれます。これらの分野では、NMFは情報の検索や分類だけでなく、データ分析や特徴抽出などのタスクでも広く利用されています。

概要

線形次元削減テクノロジは、高次元データ セットを低次元空間にマッピングするために使用されるテクノロジの一種です。その中心的なアイデアは、データ セットの主要な特性を、データ セットを通じて保持することです。線形変換。これらの線形次元削減技術には、さまざまなアプリケーション シナリオに独自の利点と適用性があり、データの性質とタスクの要件に基づいて適切な方法を選択できます。たとえば、PCA は教師なしデータの次元削減に適しており、LDA は教師あり学習タスクに適しています。

前回の記事と合わせて、10 個の非線形次元削減手法と 7 つの線形次元削減手法を紹介しましたが、まとめてみましょう

線形次元削減テクノロジ: 線形変換に基づいたデータの低次元へのマッピング- 次元空間は、線形に分離可能なデータ セットに適しています。たとえば、データ ポイントが線形部分空間に分布している場合です。アルゴリズムが単純であるため、計算は効率的で、理解と実装が簡単です。通常はデータをキャプチャできません。線状構造は情報損失につながる可能性があります。

非線形次元削減テクノロジー: 非線形変換を通じてデータを低次元空間にマッピングします。多様体上に分散されたデータ ポイントなど、非線形構造を持つデータ セットに適しています。データをより適切に保持できます。 非線形構造と局所的な関係画像内の画像はより優れた視覚化効果を提供しますが、計算の複雑さはより高く、通常はより多くの計算リソースと時間を必要とします。

データが線形分離可能である場合、またはコンピューティング リソースが限られている場合は、線形次元削減テクノロジを選択できます。データに複雑な非線形構造が含まれている場合、またはより適切な視覚化が必要な場合は、非線形次元削減テクノロジの使用を検討できます。実際には、さまざまな方法を試し、実際の効果に基づいて最も適切な次元削減テクノロジを選択することもできます。

以上が機械学習で一般的に使用される 7 つの線形次元削減手法のまとめの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。