suchen
Heimhäufiges ProblemFormel zur Berechnung der Informationsentropie

Informationen sind ein sehr abstraktes Konzept. Man sagt oft, dass es viele oder weniger Informationen gibt, aber es ist schwierig, genau zu sagen, wie viele Informationen es gibt. Wie viele Informationen enthält beispielsweise ein chinesisches Buch mit 500.000 Wörtern?

Formel zur Berechnung der Informationsentropie

Erst 1948 schlug Shannon das Konzept der „Informationsentropie“ vor, um das Problem der quantitativen Messung von Informationen zu lösen. Der Begriff Informationsentropie ist C. E. Shannon hat es aus der Thermodynamik übernommen. Die thermische Entropie ist in der Thermodynamik eine physikalische Größe, die den Grad der Unordnung eines molekularen Zustands ausdrückt. Shannon verwendete das Konzept der Informationsentropie, um die Unsicherheit der Informationsquelle zu beschreiben. (Empfohlenes Lernen: PHP-Video-Tutorial)

Claude Elwood Shannon, der Vater der Informationstheorie, verwendete zum ersten Mal mathematische Sprache, um die Beziehung zwischen Wahrscheinlichkeit und Informationsredundanz zu klären.

C. E. Shannon, der Vater der Informationstheorie, wies in der 1948 veröffentlichten Arbeit „A Mathematical Theory of Communication“ darauf hin, dass es in jeder Information Redundanz gibt und dass die Größe der Redundanz mit jedem Symbol in Beziehung steht die Informationen (Zahlen, Buchstaben oder Wörter) oder Unsicherheit.

Shannon stützte sich auf das Konzept der Thermodynamik und nannte die durchschnittliche Informationsmenge nach Ausschluss der Redundanz „Informationsentropie“ und gab einen mathematischen Ausdruck zur Berechnung der Informationsentropie an.

Bedeutung von Information

Moderne Definition

Information ist die Angabe von Materie, Energie, Information und ihren Eigenschaften. [Inverse Wiener Informationsdefinition]

Informationen sind eine Steigerung der Sicherheit. [Inverse Shannon-Informationsdefinition]

Informationen sind eine Sammlung von Dingen und ihren Attributbezeichnern. 【2002】

Ursprüngliche Definition

Claude E. Shannon, einer der Begründer der Informationstheorie, definierte Information (Entropie) als die Wahrscheinlichkeit des Auftretens diskreter Zufallsereignisse .

Die sogenannte Informationsentropie ist ein eher abstrakter Begriff in der Mathematik. Unter Informationsentropie können wir hier genauso gut die Wahrscheinlichkeit des Auftretens einer bestimmten Art von Information verstehen. Informationsentropie und thermodynamische Entropie hängen eng zusammen. Laut Charles H. Bennetts Neuinterpretation von Maxwells Dämon ist die Zerstörung von Informationen ein irreversibler Prozess, sodass die Zerstörung von Informationen mit dem zweiten Hauptsatz der Thermodynamik vereinbar ist. Beim Generieren von Informationen wird negative (thermodynamische) Entropie in das System eingebracht. Daher sollte das Vorzeichen der Informationsentropie dem der thermodynamischen Entropie entgegengesetzt sein.

Wenn eine Information häufiger vorkommt, bedeutet dies im Allgemeinen, dass sie weiter verbreitet oder häufiger zitiert wird. Wir können davon ausgehen, dass die Informationsentropie aus Sicht der Informationsverbreitung den Wert von Informationen darstellen kann. Auf diese Weise verfügen wir über einen Standard zur Messung des Informationswerts und können mehr Rückschlüsse auf Fragen der Wissenszirkulation ziehen.

Berechnungsformel

H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑ P(xi)log(2,P(xi)) (i=1,2,..n)

wobei x eine Zufallsvariable darstellt, die der Menge aller möglichen Ausgaben entspricht, definiert ist ein Symbolsatz und die Ausgabe der Zufallsvariablen wird durch x dargestellt. P(x) stellt die Ausgabewahrscheinlichkeitsfunktion dar. Je größer die Unsicherheit der Variablen, desto größer die Entropie und desto mehr Informationen sind erforderlich, um sie herauszufinden

Weitere technische Artikel zu PHP finden Sie im PHP-Grafik-Tutorial Kolumne zum Lernen!

Das obige ist der detaillierte Inhalt vonFormel zur Berechnung der Informationsentropie. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Deepseek Web Version Offizieller EingangDeepseek Web Version Offizieller EingangMar 12, 2025 pm 01:42 PM

Das inländische AI ​​Dark Horse Deepseek ist stark gestiegen und schockiert die globale KI -Industrie! Dieses chinesische Unternehmen für künstliche Intelligenz, das nur seit anderthalb Jahren gegründet wurde, hat von globalen Nutzern für seine kostenlosen und Open-Source-Modelle Deepseek-V3 und Deepseek-R1 ein breites Lob erhalten. Deepseek-R1 ist jetzt vollständig gestartet, wobei die Leistung mit der offiziellen Version von Openaio1 vergleichbar ist! Sie können seine leistungsstarken Funktionen auf der Webseite, der App und der API -Schnittstelle erleben. Download -Methode: Unterstützt iOS- und Android -Systeme können Benutzer sie über den App Store herunterladen. Deepseek Web Version Offizieller Eingang: HT

So lösen Sie das Problem vielbeschäftigter Server für DeepseekSo lösen Sie das Problem vielbeschäftigter Server für DeepseekMar 12, 2025 pm 01:39 PM

Deepseek: Wie kann man mit der beliebten KI umgehen, die von Servern überlastet ist? Als heiße KI im Jahr 2025 ist Deepseek frei und Open Source und hat eine Leistung, die mit der offiziellen Version von OpenAio1 vergleichbar ist, die seine Popularität zeigt. Eine hohe Parallelität bringt jedoch auch das Problem der Serververantwortung. Dieser Artikel wird die Gründe analysieren und Bewältigungsstrategien bereitstellen. Eingang der Deepseek -Webversion: https://www.deepseek.com/deepseek Server Beschäftigter Grund: Hoher Zugriff: Deepseeks kostenlose und leistungsstarke Funktionen ziehen eine große Anzahl von Benutzern an, die gleichzeitig verwendet werden können, was zu einer übermäßigen Last von Server führt. Cyber ​​-Angriff: Es wird berichtet, dass Deepseek Auswirkungen auf die US -Finanzbranche hat.

Eingehende Suche in Deepseek Offizieller Website EingangEingehende Suche in Deepseek Offizieller Website EingangMar 12, 2025 pm 01:33 PM

Zu Beginn des Jahres 2025 gab die inländische KI "Deepseek" ein atemberaubendes Debüt! Dieses kostenlose und Open-Source-KI-Modell verfügt über eine Leistung, die mit der offiziellen Version von OpenAI von O1 vergleichbar ist, und wurde vollständig auf Webseite, App und API gestartet, wobei die multi-terminale Verwendung von iOS-, Android- und Webversionen unterstützt wird. Eingehende Suche nach Deepseek Official Website und Nutzungsleitfaden: Offizielle Website-Adresse: https://www.deepseek.com/using-Schritte für Webversion: Klicken Sie auf den obigen Link, um die offizielle Website der Deepseek einzugeben. Klicken Sie auf der Homepage auf die Schaltfläche "Konversation starten". Für die erste Verwendung müssen Sie sich mit Ihrem Mobiltelefonverifizierungscode anmelden. Nach dem Anmeldung können Sie die Dialog -Schnittstelle eingeben. Deepseek ist leistungsfähig, kann Code schreiben, Datei lesen und Code erstellen

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SAP NetWeaver Server-Adapter für Eclipse

SAP NetWeaver Server-Adapter für Eclipse

Integrieren Sie Eclipse mit dem SAP NetWeaver-Anwendungsserver.