小規模なデータセットを使用して深層学習モデルを改善するにはどうすればよいですか?

翻訳者 | Bugatti

レビュアー | Sun Shujuan

ご存知のとおり、深層学習モデルには大量のデータが必要です。深層学習モデルに供給するデータが増えるほど、パフォーマンスが向上します。残念ながら、実際のほとんどの状況では、これは不可能です。十分なデータがないか、データの収集にコストがかかりすぎる可能性があります。

#この記事では、より多くのデータを使用せずにディープ ラーニング モデルを改善する 4 つの方法について説明します。

ディープ ラーニングにはなぜこれほど多くのデータが必要なのでしょうか?

深層学習モデルは、複雑な関係を理解する方法を学習できるため、魅力的です。深層学習モデルには複数の層が含まれています。各層は、複雑さが増すデータ表現を理解することを学習します。最初の層は、エッジなどの単純なパターンの検出を学習する可能性があります。 2 番目の層は、これらのエッジのパターン (形状など) を認識することを学習する可能性があります。 3 番目の層は、これらの形状で構成されるオブジェクトの認識を学習する可能性があります。

各層は一連のニューロンで構成され、これらのニューロンは前の層の各ニューロンに接続されます。これらすべてのレイヤーとニューロンは、最適化するパラメーターが多数あることを意味します。つまり、ディープ ラーニング モデルには強力な機能があるということです。しかし、欠点は、過剰適合する傾向があることを意味します。オーバーフィッティングとは、モデルがトレーニング データ内で捕捉する干渉信号が多すぎるため、新しいデータに適用できないことを意味します。

十分なデータがあれば、深層学習モデルは非常に複雑な関係を検出する方法を学習できます。ただし、十分なデータがない場合、深層学習モデルはこれらの複雑な関係を理解できません。深層学習モデルが学習できるように、十分なデータが必要です。

しかし、これ以上のデータを収集する可能性が低い場合は、これを克服するためのいくつかの手法があります。

1.転移学習は、小規模なデータセットを使用した深層学習モデルのトレーニングに役立ちます。

転移学習は、1 つの問題に関してトレーニングされたモデルを取得し、それを関連するさまざまな問題を解決するための開始点として使用できる機械学習手法です。

たとえば、犬の画像の巨大なデータセットでトレーニングされたモデルを取得し、それを犬の品種を識別するモデルをトレーニングするための開始点として使用できます。

最初のモデルで学習した機能を再利用して、時間とリソースを節約できることを願っています。 2 つのアプリケーションがどのように異なるかについての経験則はありません。ただし、元のデータセットと新しいデータセットが大きく異なる場合でも、転移学習は使用できます。

たとえば、猫の画像でトレーニングされたモデルを取得し、それをラクダの種類を認識するモデルをトレーニングするための開始点として使用できます。最初のモデルの 4 本の足の機能を解明できれば、ラクダの識別に役立つかもしれません。

転移学習についてさらに詳しく知りたい場合は、

「自然言語処理のための転移学習」 を参照してください。 Python プログラマーの場合は、「Python による実践的な転移学習」 も役立つかもしれません。 2. データ拡張を試してみる

データ拡張は、既存のデータを取得して新しい合成データを生成できる手法です。

たとえば、犬の画像のデータセットがある場合、データ拡張を使用して新しい犬の写真を生成できます。これを行うには、画像をランダムにトリミングしたり、水平方向に反転したり、ノイズを追加したり、その他のいくつかのテクニックを使用します。

データ セットが小さい場合、データ拡張は大きなメリットをもたらします。新しいデータを生成することで、データセットのサイズを人為的に拡大し、ディープ ラーニング モデルにより多くのデータを処理できるようにすることができます。

ディープ ラーニングに関するこれらの

配布資料

は、データ拡張についてより深く理解するのに役立ちます。 3. オートエンコーダーの使用

オートエンコーダーは、低次元のデータ表現を学習するために使用される深層学習モデルです。

オートエンコーダーは、データを低次元空間に圧縮する方法を学習できるため、データ セットが小さい場合に役立ちます。

オートエンコーダーにはさまざまな種類があります。変分オートエンコーダ (VAE) は、一般的なタイプのオートエンコーダです。 VAE は生成モデルであり、新しいデータを生成できることを意味します。 VAE を使用してトレーニング データに似た新しいデータ ポイントを生成できるため、これは非常に役立ちます。これは、実際にさらに多くのデータを収集せずにデータセットのサイズを増やす優れた方法です。

元のタイトル:

小規模なデータセットで深層学習モデルを改善する方法

以上が小規模なデータセットを使用して深層学習モデルを改善するにはどうすればよいですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。