クロスエントロピーを理解する: それに対応する重要性は何ですか?

エントロピーは、イベントの不確実性を定量化します。データ サイエンスでは、クロス エントロピーと KL ダイバージェンスは離散確率分布に関連しており、2 つの分布がどの程度類似しているかを測定するために使用されます。機械学習では、クロスエントロピー損失を使用して、予測された分布が実際の分布にどの程度近いかを評価します。

真の分布 t と予測分布 p が与えられると、それらの間のクロス エントロピーは次の方程式で求められます。

ここで、p(x) は真の確率分布 (ワンホット)、q(x) は予測された確率分布です。

しかし、現実の世界では、予測値と実際の値の差は、実際の値から乖離するため、発散と呼ばれます。クロスエントロピーは、エントロピーと KL 発散を組み合わせた尺度です。

次に、分類例を使用して、クロスエントロピーがディープ ニューラル ネットワーク パラダイムにどのように適合するかを見てみましょう。

各分類ケースには、確率 1.0 の既知のクラス ラベルと、確率 0 の残りのラベルがあります。モデルは、ケースに基づいて各カテゴリ名の確率を決定します。クロスエントロピーを使用して、異なるラベルを持つ神経経路を比較できます。

予測された各クラス確率を、目的の出力 0 または 1 と比較します。計算されたスコア/損失は、期待値からの距離に基づいて確率にペナルティを与えます。ペナルティは対数的であり、1 に近い有意な差についてはより大きなスコアが生成され、0 に近い小さな差についてはより小さなスコアが生成されます。

クロスエントロピー損失は、損失を最小限に抑えることを目的として、トレーニング中にモデルの重みを調整するときに使用されます。損失が小さいほど、モデルは優れています。 ###

以上がクロスエントロピーを理解する: それに対応する重要性は何ですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。