ゼロショット学習 (ZSL) の定義と重要性を分析する

ゼロショット学習 (ZSL) は、事前トレーニングされた深層学習モデルを利用して新しいカテゴリのサンプルに一般化する機械学習パラダイムです。その中心となるアイデアは、既存のトレーニング インスタンスの知識をテスト インスタンスの分類タスクに転送することです。具体的には、ゼロショット学習手法は、中間のセマンティック レイヤーと属性を学習し、この知識を推論中に適用することで新しいデータを予測します。この方法により、機械学習モデルはこれまでに見たことのないカテゴリに分類できるようになり、未知のカテゴリを識別する機能が実現します。ゼロショット学習を通じて、モデルは限られたトレーニング データからより広範な一般化機能を取得でき、現実世界の新しい問題への適応性が向上します。

ゼロショット学習では、トレーニング セットとテスト セットが切り離されていることに注意してください。

ゼロショット学習は転移学習のサブフィールドであり、主に特徴空間とラベル空間が完全に異なる状況で使用されます。一般的な同型転移学習とは異なり、ゼロショット学習は、事前トレーニングされたモデルを単に微調整するだけではなく、サンプルなしで新しい問題に対処する方法を学習する必要があります。ゼロショット学習の目標は、既存の知識と経験を使用して、その知識を新しい領域に移し、新しい問題を解決することです。この種の異種転移学習は、既存のラベル情報を活用して予測と分類を実行できるため、ラベルが存在しない、またはラベルがほとんどない状況に対処する場合に非常に役立ちます。したがって、ゼロショット学習は、多くの実世界のアプリケーションで重要な役割を果たす大きな可能性を秘めています。

#ゼロショット学習データ分類

Seen クラス: ラベル付きトレーニング データなど、深層学習モデルのトレーニングに使用されるデータ クラス。

目に見えないクラス: ラベルのないトレーニング データなど、既存のディープ モデルを一般化する必要があるデータ クラス。

補助情報: 目に見えないクラスに属するラベル付きインスタンスは利用できないため、ゼロショット学習問題を解決するにはいくつかの補助情報が必要です。このような補助情報には、目に見えないクラスの情報がすべて含まれている必要があります。

ゼロショット学習は、目に見えるクラスと目に見えないクラスのラベル付きトレーニング セットにも依存します。可視クラスと不可視クラスは両方とも、意味空間と呼ばれる高次元ベクトル空間で関連付けられており、可視クラスの知識を不可視クラスに転送できます。

#ゼロショット学習の段階

ゼロショット学習には、トレーニングと推論の 2 つの段階が含まれます:

トレーニング: ラベル付きデータ サンプルのセットに関する知識を獲得します。

推論: 以前に取得した知識を拡張して、提供された補助情報を新しいクラスのセットに使用します。

#ゼロショット学習方法

分類子ベースの方法

既存の分類ベースの方法このメソッドは通常、1 対多のソリューションを採用して、マルチクラスのゼロショット分類器をトレーニングします。つまり、目に見えないクラスごとに、バイナリ 1 対 1 分類器をトレーニングします。さらに、分類器の構築方法に応じて、分類器ベースの手法を 3 つのカテゴリに分類します。

①対応メソッド

対応メソッドは、各クラスのバイナリ 1 対 1 分類子と、それに対応するクラス プロトタイプを渡すことを目的としています。関係は、非表示クラスの分類子を構築するために使用されます。各クラスには、意味空間内に対応するプロトタイプが 1 つだけあります。したがって、このプロトタイプはクラスの「表現」とみなすことができます。同時に、特徴空間には、カテゴリごとに、対応するバイナリの 1 対 1 分類器があり、これはカテゴリの「表現」とみなすこともできます。対応メソッドは、これら 2 つの「表現」間の対応機能を学習することを目的としています。

②関係メソッド

このメソッドは、不可視クラスのクラス間およびクラス内関係に基づいて、分類子または不可視クラスを構築することを目的としています。 。特徴空間では、利用可能なデータを使用して、表示されるクラスのバイナリ 1 対 1 分類器を学習できます。同時に、対応するプロトタイプ間の関係を計算することで、可視クラスと不可視クラス間の関係を取得できます。

##3結合メソッド

#結合メソッドは、クラスを構成する基本要素を形成するために使用される分類子を結合することによって、目に見えないクラスの分類を構築することを記述します。楽器への思い。

合成法では、クラスを構成する「基本要素」のリストがあるとみなします。可視クラスと不可視クラスの各データ ポイントは、これらの基本要素の組み合わせです。意味空間に反映されると、各次元は基本要素を表し、各クラスのプロトタイプは、対応するクラスのこれらの基本要素の組み合わせを表すと考えられます。

クラス プロトタイプの各次元は 1 または 0 をとり、クラスに対応する要素があるかどうかを示します。したがって、このタイプの方法は主に意味空間に適しています。

インスタンス ベースのメソッド

インスタンス ベースのメソッドは、まず目に見えないクラスのラベル付きインスタンスを取得し、次にこれらのインスタンスを使用してゼロ サンプルをトレーニングすることを目的としています。分類子。これらのインスタンスのソースに応じて、既存のインスタンスベースのメソッドは 3 つのサブカテゴリに分類できます。

①投影メソッド

投影メソッド アイデア特徴空間インスタンスと意味空間プロトタイプを共有空間に射影することで、目に見えないクラスのラベル付きインスタンスを取得することです。

可視クラスに属する特徴空間には、ラベル付きのトレーニング インスタンスがあります。同時に、意味空間には可視クラスと不可視クラスのプロトタイプが存在します。特徴空間と意味空間は実空間であり、インスタンスとプロトタイプはその中のベクトルです。この観点から、プロトタイプはラベル付きインスタンスとみなすこともできます。したがって、特徴空間と意味空間でインスタンスにラベルを付けます。

#②インスタンス借用メソッド

これらのメソッドは、トレーニング インスタンスから借用することで、非表示クラスのラベル付きインスタンスの取得を処理します。インスタンスの借用方法は、クラス間の類似性に基づいています。これらの類似したクラスの知識があれば、目に見えないクラスに属するインスタンスを識別できます。

③合成方法

合成方法は、さまざまな戦略を使用して擬似インスタンスを合成することによって、非表示のクラスのマークされたインスタンスを取得することです。擬似インスタンスを合成するには、各クラスのインスタンスが特定の分布に従うと仮定します。まず、目に見えないクラスの分布パラメータを推定する必要があります。次に、不可視クラスのインスタンスを合成します。

ゼロショット学習の制限

他の概念と同様、ゼロショット学習にも制限があります。ここでは、ゼロショット学習を実際に適用する際の最も一般的な課題をいくつか紹介します。

1. バイアス

トレーニング フェーズ中、モデルは表示クラスのデータとラベルにのみアクセスできます。これにより、モデルはテスト中に目に見えないクラスのデータ サンプルを目に見えるクラスとして予測します。テスト中に可視クラスと非可視クラスの両方のサンプルに対してモデルが評価される場合、バイアスの問題はより顕著になります。

2. ドメイン移管

ゼロショット学習モデルの開発は主に、事前トレーニングされたモデルを次のような新しいモデルに拡張することです。データは徐々に利用可能になります。したがって、ドメイン転送の問題はゼロショット学習でよく発生します。ドメイン シフトは、トレーニング セットとテスト セット内のデータの統計的分布が大きく異なる場合に発生します。

3. 中心的な問題

中心的な問題は、最近傍検索に関連する次元の呪いに関連しています。ゼロショット学習では、2 つの理由で中心的な問題が発生します。

入力特徴と意味論的特徴は両方とも高次元空間に存在します。このような高次元ベクトルが低次元空間に射影されると、分散が減少し、マップされた点が中心に集中します。

ゼロショット学習で広く使用されているリッジ回帰は、中心的な問題を引き起こします。これは、偏った予測につながる可能性があります。つまり、クエリが何であっても、ほとんどの場合、少数のクラスのみが予測されます。

4. 情報損失

可視クラスでトレーニングする場合、モデルはこれらの可視クラスを区別する重要な属性のみを学習します。可視クラスには潜在的な情報が存在する可能性がありますが、意思決定プロセスに大きく寄与しない場合は学習されません。ただし、この情報は、不可視クラスのテスト段階では重要です。これにより、情報が失われます。

以上がゼロショット学習 (ZSL) の定義と重要性を分析するの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。