Kreuzentropie verstehen: Welche Bedeutung hat sie?

Entropie quantifiziert die Unsicherheit eines Ereignisses. In der Datenwissenschaft hängen Kreuzentropie und KL-Divergenz mit diskreten Wahrscheinlichkeitsverteilungen zusammen und werden verwendet, um zu messen, wie ähnlich zwei Verteilungen sind. Beim maschinellen Lernen wird Kreuzentropieverlust verwendet, um zu bewerten, wie nahe eine vorhergesagte Verteilung an der wahren Verteilung liegt.

Angesichts der wahren Verteilung t und der vorhergesagten Verteilung p wird die Kreuzentropie zwischen ihnen durch die folgende Gleichung angegeben:

wobei p(x) die wahre Wahrscheinlichkeitsverteilung (One-Hot) und q(x) ist ist Wahrscheinlichkeitsverteilung vorhersagen.

In der realen Welt wird die Differenz zwischen vorhergesagten und tatsächlichen Werten jedoch als Divergenz bezeichnet, da sie vom tatsächlichen Wert abweichen. Kreuzentropie ist ein kombiniertes Maß für Entropie und KL-Divergenz.

Lassen Sie uns nun anhand eines Klassifizierungsbeispiels sehen, wie Kreuzentropie in das Paradigma des tiefen neuronalen Netzwerks passt.

Jeder Klassifizierungsfall hat eine bekannte Klassenbezeichnung mit der Wahrscheinlichkeit 1,0, und die übrigen Bezeichnungen haben die Wahrscheinlichkeit 0. Das Modell bestimmt die Wahrscheinlichkeit jedes Kategorienamens basierend auf dem Fall. Kreuzentropie kann verwendet werden, um Nervenbahnen mit unterschiedlichen Bezeichnungen zu vergleichen.

Vergleichen Sie jede vorhergesagte Klassenwahrscheinlichkeit mit der gewünschten Ausgabe von 0 oder 1. Der berechnete Punktestand/Verlust bestraft die Wahrscheinlichkeit basierend auf der Entfernung vom erwarteten Wert. Die Strafe ist logarithmisch und führt zu größeren Werten für signifikante Unterschiede nahe 1 und kleineren Werten für kleine Unterschiede nahe 0.

Kreuzentropieverlust wird beim Anpassen der Modellgewichte während des Trainings verwendet, mit dem Ziel, den Verlust zu minimieren – je kleiner der Verlust, desto besser das Modell.

Das obige ist der detaillierte Inhalt vonKreuzentropie verstehen: Welche Bedeutung hat sie?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!