深層学習の汎化能力について簡単に説明した記事

1. DNN 汎化能力の問題

この論文では主に、なぜ過剰パラメータ化されたニューラル ネットワーク モデルが優れた汎化パフォーマンスを発揮できるのかについて説明しています。つまり、トレーニング セットを単に記憶するのではなく、トレーニング セットから一般的なルールを要約して、テスト セットに適用できるようにします (汎化能力)。

従来のデシジョン ツリー モデルを例に挙げると、ツリー モデルがデータ セットの一般的なルールを学習すると、ツリーが最初にノードを分割する場合は良い状況になります。異なるラベルを持つサンプルを区別するだけで十分で、深さが非常に小さく、対応する各リーフのサンプル数が十分である (つまり、統計ルールに基づくデータ量も比較的大きい) 場合、ルールは次のようになります。他のデータに一般化できる可能性があります。 (つまり、適合性と汎化能力が優れている)。

もう 1 つの最悪の状況は、ツリーがいくつかの一般的なルールを学習できない場合、このデータセットを学習するために、ツリーはおそらく葉ごとにますます深くなってしまうことです。ノードは少数のサンプルに対応します (少量のデータによってもたらされる統計情報は単なるノイズである可能性があります) 最後に、すべてのデータは暗記によって記憶されます (つまり、過学習で汎化能力がありません)。深すぎるツリー モデルは簡単にオーバーフィットする可能性があることがわかります。

では、過剰にパラメータ化されたニューラル ネットワークはどのようにして適切な一般化を達成できるのでしょうか?

2. DNN の汎化能力の理由

この記事では、ニューラル ネットワークの勾配降下最適化プロセスにおける汎化能力の理由を探るという、シンプルかつ一般的な観点から説明します:

勾配コヒーレンス理論を要約しました。さまざまなサンプルからの勾配のコヒーレンスが、ニューラル ネットワークが優れた一般化機能を備えている理由です。トレーニング中にさまざまなサンプルの勾配が適切に調整されている場合、つまり、それらがコヒーレントである場合、勾配降下法は安定しており、迅速に収束することができ、結果として得られるモデルは適切に一般化できます。そうしないと、サンプルが少なすぎる場合、またはトレーニング時間が長すぎる場合、一般化できない可能性があります。

この理論に基づいて、次のような説明ができます。

2.1 幅ニューラル ネットワークの一般化

幅広ニューラル ネットワーク モデルには優れた一般化機能があります。これは、より広いネットワークにはより多くのサブネットワークがあり、より小規模なネットワークよりも勾配コヒーレンスが生成される可能性が高く、その結果一般化が向上するためです。言い換えれば、勾配降下法は一般化 (一貫性) 勾配を優先する特徴セレクターであり、より広いネットワークにはより多くの特徴があるため、より優れた特徴がある可能性があります。

• 元の論文: 一般化と幅。Neyshabur et al. [2018b] は、より広いネットワークほどより一般化できることを発見しました。これで説明できますか? 直観的には、より広いネットワークには、任意のレベルでより多くのサブネットワークがあります。つまり、セクション 10 で説明したように、勾配降下法は、よく一般化された (一貫した) 機能では、より広範なネットワークは、より多くの機能を備えているという理由だけで、より優れた機能を備えている可能性があります。これに関連して、宝くじの仮説も参照してください [Frankle and Carbin, 2018]
• 論文リンク: https ://github.com/aialgorithm/Blog

しかし、個人的には、ネットワーク入力層/隠れ層の幅を区別する必要があると思います。特にデータ マイニング タスクの入力層の場合、入力特徴量は通常手動で設計されるため、特徴量の選択を考慮する (入力層の幅を減らすなど) 必要があります。そうでないと、特徴量ノイズを直接入力すると勾配コヒーレンスに干渉します。 . .

2.2 ディープ ニューラル ネットワークの一般化

ネットワークが深くなるほど、勾配コヒーレンス現象が増幅され、一般化能力が向上します。

ディープモデルでは、層間のフィードバックによってコヒーレントな勾配が強化されるため、コヒーレントな勾配の特性(W6)とインコヒーレントな勾配の特性(W1間の相対差)が存在します。 ) はトレーニング中に指数関数的に増幅されます。これにより、より深いネットワークではコヒーレントな勾配が優先されるため、一般化機能が向上します。

2.3 早期停止

早期停止を通じて、非コヒーレントな勾配の過度の影響を軽減し、一般化を向上させることができます。

トレーニング中、いくつかの簡単なサンプルは他のサンプル (ハード サンプル) よりも早くフィッティングされます。トレーニングの初期段階では、これらの簡単なサンプルの相関勾配が支配的であり、適合が容易です。学習の後半段階では、困難なサンプルの一貫性のない勾配が平均勾配 g(wt) を支配し、汎化能力が低下するため、この時点で早期に停止する必要があります。

• (注: 単純なサンプルとは、データ セット内に多くの共通の勾配があるサンプルです。このため、ほとんどの勾配はそれに有益です。 、収束

2.4 完全勾配降下法 VS 学習率

完全勾配降下法にも優れた汎化能力があることがわかりました。さらに、注意深い実験では、確率的勾配降下法が必ずしもより良い一般化につながるわけではないことが示されていますが、これは確率的勾配が極小値から飛び出したり、正則化などに役割を果たしたりする可能性を排除するものではありません。

• 私たちの理論に基づくと、有限学習率とミニバッチ確率論は汎化には必要ありません

学習率が低いと汎化誤差は減少しない可能性があると考えていますなぜなら、学習率が低いほど反復回数が増えることを意味するからです（早期停止の反対）。

• 学習率が十分に小さいと仮定すると、トレーニングが進むにつれて汎化ギャップは減少しません。これはトレーニングの反復安定性分析からわかります: さらに 40 ステップでは、安定性は低下するだけです。これに違反すると、実際の設定では、これは理論の興味深い制限を示しています。

2.5 L2 および L1 正則化

L2 および L1 正則化を目的関数に追加し、対応する勾配計算を行います。 , L1 正規項に追加する必要がある勾配はsign(w)、L2 勾配は w です。 L2 正則化を例にとると、対応する勾配 W(i 1) 更新式は次のとおりです。 図

「L2 正則化 (重みの減衰)」は次のように考えることができます。一種の「背景力」により、各パラメーターをデータに依存しないゼロ値に近づけることができます (L1 は疎な解を簡単に取得でき、L2 は 0 に近い滑らかな解を簡単に取得できます)。これにより、弱い勾配方向の影響が排除されます。一貫した勾配方向の場合にのみ、パラメータを「背景力」から相対的に分離でき、データに基づいて勾配の更新を完了できます。

2.6 高度な勾配降下アルゴリズム

• Momentum、Adam およびその他の勾配降下アルゴリズム

Momentum、Adam For等勾配降下アルゴリズムでは、パラメータ W の更新方向は現在の勾配によって決定されるだけでなく、以前に蓄積された勾配の方向にも関連します (つまり、蓄積されたコヒーレント勾配の効果は保持されます)。これにより、勾配方向がわずかに変化する次元ではパラメータの更新が速くなり、勾配方向が大きく変化する次元では更新振幅が小さくなり、収束が促進され発振が低減される効果が得られます。

• 弱い勾配方向での勾配降下の抑制

バッチ勾配降下アルゴリズムを最適化し、汎化機能をさらに向上させることで、弱い勾配方向での勾配更新を抑制できます。たとえば、ウィンザー化勾配降下法を使用して勾配の外れ値を除外し、平均を取ることができます。または、勾配の外れ値の影響を軽減するために、平均の代わりに勾配の中央値を取得します。

概要

記事の最後に一言。深層学習の理論に興味がある場合は、言及されている関連研究を読むことができます。紙の中で。

以上が深層学習の汎化能力について簡単に説明した記事の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。