Formel zur Berechnung der Informationsentropie

Informationen sind ein sehr abstraktes Konzept. Man sagt oft, dass es viele oder weniger Informationen gibt, aber es ist schwierig, genau zu sagen, wie viele Informationen es gibt. Wie viele Informationen enthält beispielsweise ein chinesisches Buch mit 500.000 Wörtern?

Erst 1948 schlug Shannon das Konzept der „Informationsentropie“ vor, um das Problem der quantitativen Messung von Informationen zu lösen. Der Begriff Informationsentropie ist C. E. Shannon hat es aus der Thermodynamik übernommen. Die thermische Entropie ist in der Thermodynamik eine physikalische Größe, die den Grad der Unordnung eines molekularen Zustands ausdrückt. Shannon verwendete das Konzept der Informationsentropie, um die Unsicherheit der Informationsquelle zu beschreiben. (Empfohlenes Lernen: PHP-Video-Tutorial)

Claude Elwood Shannon, der Vater der Informationstheorie, verwendete zum ersten Mal mathematische Sprache, um die Beziehung zwischen Wahrscheinlichkeit und Informationsredundanz zu klären.

C. E. Shannon, der Vater der Informationstheorie, wies in der 1948 veröffentlichten Arbeit „A Mathematical Theory of Communication“ darauf hin, dass es in jeder Information Redundanz gibt und dass die Größe der Redundanz mit jedem Symbol in Beziehung steht die Informationen (Zahlen, Buchstaben oder Wörter) oder Unsicherheit.

Shannon stützte sich auf das Konzept der Thermodynamik und nannte die durchschnittliche Informationsmenge nach Ausschluss der Redundanz „Informationsentropie“ und gab einen mathematischen Ausdruck zur Berechnung der Informationsentropie an.

Bedeutung von Information

Moderne Definition

Information ist die Angabe von Materie, Energie, Information und ihren Eigenschaften. [Inverse Wiener Informationsdefinition]

Informationen sind eine Steigerung der Sicherheit. [Inverse Shannon-Informationsdefinition]

Informationen sind eine Sammlung von Dingen und ihren Attributbezeichnern. 【2002】

Ursprüngliche Definition

Claude E. Shannon, einer der Begründer der Informationstheorie, definierte Information (Entropie) als die Wahrscheinlichkeit des Auftretens diskreter Zufallsereignisse .

Die sogenannte Informationsentropie ist ein eher abstrakter Begriff in der Mathematik. Unter Informationsentropie können wir hier genauso gut die Wahrscheinlichkeit des Auftretens einer bestimmten Art von Information verstehen. Informationsentropie und thermodynamische Entropie hängen eng zusammen. Laut Charles H. Bennetts Neuinterpretation von Maxwells Dämon ist die Zerstörung von Informationen ein irreversibler Prozess, sodass die Zerstörung von Informationen mit dem zweiten Hauptsatz der Thermodynamik vereinbar ist. Beim Generieren von Informationen wird negative (thermodynamische) Entropie in das System eingebracht. Daher sollte das Vorzeichen der Informationsentropie dem der thermodynamischen Entropie entgegengesetzt sein.

Wenn eine Information häufiger vorkommt, bedeutet dies im Allgemeinen, dass sie weiter verbreitet oder häufiger zitiert wird. Wir können davon ausgehen, dass die Informationsentropie aus Sicht der Informationsverbreitung den Wert von Informationen darstellen kann. Auf diese Weise verfügen wir über einen Standard zur Messung des Informationswerts und können mehr Rückschlüsse auf Fragen der Wissenszirkulation ziehen.

Berechnungsformel

H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑ P(xi)log(2,P(xi)) (i=1,2,..n)

wobei x eine Zufallsvariable darstellt, die der Menge aller möglichen Ausgaben entspricht, definiert ist ein Symbolsatz und die Ausgabe der Zufallsvariablen wird durch x dargestellt. P(x) stellt die Ausgabewahrscheinlichkeitsfunktion dar. Je größer die Unsicherheit der Variablen, desto größer die Entropie und desto mehr Informationen sind erforderlich, um sie herauszufinden

Weitere technische Artikel zu PHP finden Sie im PHP-Grafik-Tutorial Kolumne zum Lernen!

Das obige ist der detaillierte Inhalt vonFormel zur Berechnung der Informationsentropie. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!