少数ショット学習のレビュー: テクニック、アルゴリズム、モデル

機械学習は最近大きく進歩しましたが、モデルをトレーニングするには大量のラベル付きデータが必要であるという大きな課題がまだあります。

このデータは現実の世界では利用できない場合があります。ヘルスケアを例に挙げると、新しい病気をチェックするのに十分な X 線スキャンがない可能性があります。しかし、少数ショット学習を通じて、モデルはわずか数例から知識を学習できます!

したがって、少数ショット学習 (FSL) は機械学習のサブフィールドであり、新しいタスクを学習するタスクをわずかな計算で解決します。ラベル付きのサンプルの数が少ない 問題。 FSL の要点は、機械学習モデルが少量のデータで新しいことを学習できるようにすることです。これは、ラベル付きデータの束を収集するのにコストがかかりすぎたり、時間がかかりすぎたり、非現実的である場合に役立ちます。

少数ショット学習方法

サポート サンプル/クエリ セット: 少数の画像を使用してクエリ セットを分類します。

少数ショット学習を理解するには、メタ学習、データレベル、パラメータレベルの 3 つの主な方法があります。

• メタ学習: メタ学習には、新しいタスクを効率的に学習する方法を学習するモデルのトレーニングが含まれます。
• データレベル: データレベルの手法は、改善のために利用可能なデータを増やすことに重点を置いています。パフォーマンス;
• パラメータ レベル: パラメータ レベルのメソッドは、新しいタスクへの一般化を改善するために、より堅牢な特徴表現を学習することを目的としています

メタ学習

metalearning (学習方法を学ぶ)。この方法では、新しいタスクを効率的に学習する方法を学習するようにモデルをトレーニングします。このモデルは、さまざまなタスク間の共通点を特定し、この知識を使用して、いくつかの例を使用して新しいことをすばやく学習することを目的としています。

メタ学習アルゴリズムは通常、一連の関連タスクでモデルをトレーニングし、利用可能なデータからタスクに依存しない特徴とタスク固有の特徴を抽出する方法を学習します。タスクに依存しない機能はデータに関する一般的な知識を取得し、タスク固有の機能は現在のタスクの詳細を取得します。トレーニング中、アルゴリズムは、各新しいタスクのいくつかのラベル付きサンプルのみを使用してモデル パラメーターを更新することにより、新しいタスクに適応することを学習します。これにより、モデルを少数の例で新しいタスクに一般化することができます。

データレベルのメソッド

データレベルのメソッドは、既存のデータの拡張に重点を置いており、これによりモデルがデータの基礎となる構造をより深く理解できるようになり、それによってモデルの汎化パフォーマンスが向上します。

主なアイデアは、既存の例にさまざまな変換を適用して新しい例を作成することです。これにより、モデルがデータの基礎となる構造をよりよく理解できるようになります。

データ レベルの方法には 2 種類あります。

• データ拡張: データ拡張には、既存のデータにさまざまな変換を適用することによって新しいサンプルを作成することが含まれます。
• データ生成: データ生成には、敵対的生成ネットワーク (GAN) を使用して新しい例を最初から生成することが含まれます。

データ レベルのメソッド:

パラメーター レベルのメソッドの目標は、新しいタスクに適切に一般化できる、より堅牢な特徴表現を学習することです。

パラメータ レベルの方法は 2 つあります。

• 特徴抽出: 特徴抽出には、新しいタスクに使用できる一連の特徴をデータから学習することが含まれます。 #微調整: 微調整には、最適なパラメーターを学習することによって、事前トレーニングされたモデルを新しいタスクに適応させることが含まれます。
• たとえば、画像内のさまざまな形や色を認識できる事前トレーニングされたモデルがあるとします。新しいデータセットに基づいてモデルを微調整することで、ほんの数例を使用して新しいカテゴリを認識する方法をすぐに学習できます。

メタ学習アルゴリズム

メタ学習は、FSL への一般的なアプローチです。これには、新しいタスクを効率的に学習する方法を学習できるように、さまざまな関連タスクでモデルをトレーニングすることが含まれます。このアルゴリズムは、利用可能なデータからタスクに依存しない特徴とタスク固有の特徴を抽出することを学習し、新しいタスクに迅速に適応します。

メタ学習アルゴリズムは、メトリックベースと勾配ベースの 2 つのタイプに大別できます。

メトリクスベースのメタ学習

メトリクスベースのメタ学習アルゴリズムは、新しいタスクごとに異なる例を比較する特別な方法を学習します。彼らは、入力例を特殊な特徴空間にマッピングすることでこれを実現します。この空間では、類似した例は近くにあり、異なる例は遠く離れています。モデルはこの距離メトリックを使用して、新しい例を正しいカテゴリに分類できます。

人気のあるメトリックベースのアルゴリズムは Siamese Network です。これは、2 つの同一のサブネットワークを使用して 2 つの入力例間の距離を測定することを学習します。これらのサブネットワークは、各入力例の特徴表現を生成し、ユークリッド距離やコサイン類似度などの距離尺度を使用して出力を比較します。

勾配ベースのメタ学習

勾配ベースのメタ学習は、新しい課題に迅速に適応できるようにパラメーターを更新する方法を学習します。

これらのアルゴリズムは、モデルをトレーニングしてパラメータの初期セットを学習し、わずか数例で新しいタスクに迅速に適応します。 MAML (モデルに依存しないメタ学習) は、新しいタスクに迅速に適応するためにモデルのパラメーターを最適化する方法を学習する、人気のある勾配ベースのメタ学習アルゴリズムです。一連の関連タスクを通じてモデルをトレーニングし、各タスクのいくつかの例を使用してモデルのパラメーターを更新します。モデルがこれらのパラメーターを学習すると、現在のタスクの他の例を使用してパラメーターを微調整し、パフォーマンスを向上させることができます。

少数ショット学習に基づく画像分類アルゴリズム

FSL には、次のようないくつかのアルゴリズムがあります。

• モデルに依存しないメタ学習): MAML はメタ学習です。モデルの適切な初期化を学習し、少数の例で新しいタスクに適応できる学習アルゴリズム。
• マッチング ネットワーク: マッチング ネットワークは、類似性を計算することによって、新しい例とラベル付きの例を一致させることを学習します。
• プロトタイプ ネットワーク: プロトタイプ ネットワークは、各クラスのプロトタイプ表現を学習し、プロトタイプとの類似性に基づいて新しい例を分類します。
• リレーション ネットワーク: リレーション ネットワークは、例のペアを比較し、新しい例について予測することを学習します。

モデルに依存しないメタ学習

MAML の重要なアイデアは、新しいタスクに適応できるモデル パラメーターの初期化をいくつかの例で学習することです。トレーニング中、MAML は一連の関連タスクを受け入れ、各タスクのいくつかのラベル付きサンプルのみを使用してモデル パラメーターを更新する方法を学習します。このプロセスにより、新しいタスクにすぐに適応できるモデル パラメーターの適切な初期化を学習することで、モデルを新しいタスクに一般化できます。

マッチング ネットワーク

マッチング ネットワークは、一般的に使用されるもう 1 つの少数ショット画像分類アルゴリズムです。固定のメトリクスやパラメータを学習するのではなく、現在のサポート セットに基づいて動的なメトリクスを学習します。これは、クエリ イメージとサポート セットを比較するために使用されるメトリックがクエリ イメージごとに異なることを意味します。

マッチング ネットワーク アルゴリズムは、アテンション メカニズムを使用して、各クエリ画像のサポート セット特徴の加重合計を計算します。重みは、クエリ画像と各サポート セット画像の間の類似性に基づいて学習されます。次に、サポート セットの特徴の加重合計がクエリ画像の特徴と連結され、結果のベクトルが完全に接続されたいくつかのレイヤーを通過して、最終的な分類が生成されます。

プロトタイプ ネットワーク

プロトタイプ ネットワークは、シンプルで効果的な少数サンプルの画像分類アルゴリズムです。画像の表現を学習し、サポートされるサンプルの埋め込み特徴の平均を使用して各クラスのプロトタイプを計算します。テスト中に、クエリ画像と各クラス プロトタイプ間の距離が計算され、最も近いプロトタイプを持つクラスがクエリに割り当てられます。

リレーションシップ ネットワーク

リレーションシップ ネットワークの学習では、セットをサポートするサンプルのペアを比較し、この情報を使用してクエリのサンプルを分類します。リレーションシップ ネットワークには、特徴埋め込みネットワークとリレーションシップ ネットワークという 2 つのサブネットワークが含まれます。特徴埋め込みネットワークは、サポート セット内の各サンプルとクエリ サンプルを特徴空間にマッピングします。次に、関係ネットワークは、クエリの例と各サポート セットの例の間の関係スコアを計算します。最後に、これらの関係スコアはクエリの例を分類するために使用されます。

少数ショット学習のアプリケーション

少数ショット学習には、次のようなさまざまな分野で多くのアプリケーションがあります。

画像分類やターゲット検出などのさまざまなコンピュータ ビジョン タスクにおいて、セグメンテーション。少数ショット学習では、トレーニング データに存在しない画像内の新しいオブジェクトを識別できます。

テキスト分類、感情分析、言語モデリングなどの自然言語処理タスクでは、少数ショット学習は、低リソース言語での言語モデルのパフォーマンスの向上に役立ちます。

ロボット工学で少数派学習を使用すると、ロボットは新しいタスクを迅速に学習し、新しい環境に適応できます。たとえば、ロボットは、いくつかの例を使用するだけで、新しい物体を拾うことを学習できます。

データが限られている場合、希少疾患や異常を特定するための医療診断では少数のサンプルが使用され、治療を個別化して患者の転帰を予測するのに役立ちます。

概要

フューショット学習は、モデルが少数の例から学習できるようにする強力な手法です。さまざまな分野で多数の用途があり、機械学習に革命をもたらす可能性があります。研究開発を継続することで、少数ショット学習により、より効率的かつ効果的な機械学習システムへの道が開かれる可能性があります。

以上が少数ショット学習のレビュー: テクニック、アルゴリズム、モデルの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。