情報エントロピーの計算式

情報は非常に抽象的な概念です。情報が多いとか少ないとかよく言われますが、情報がどのくらいあるのかを正確に言うのは難しいです。たとえば、50万語の中国語の本にはどれくらいの情報が含まれているでしょうか?

シャノンが情報の定量的測定の問題を解決するために「情報エントロピー」の概念を提案したのは 1948 年のことです。情報エントロピーという用語は C です。 E.シャノンはそれを熱力学から借用しました。熱力学における熱エントロピーは、分子状態の乱れの程度を表す物理量です。シャノンは、情報エントロピーの概念を使用して、情報源の不確実性を説明しました。 (推奨される研究: PHP ビデオ チュートリアル )

情報理論の父であるクロード エルウッド シャノンは、数学的言語を使用して確率と情報の冗長性の関係を初めて明らかにしました。

情報理論の父、C. E. シャノンは、1948 年に発表した論文「コミュニケーションの数学理論」の中で、あらゆる情報には冗長性があり、その冗長性の大きさは各シンボルに関係していると指摘しました。情報 (数字、文字、単語) または不確実性。

シャノンは熱力学の概念を援用し、冗長性を除いた平均的な情報量を「情報エントロピー」と呼び、情報エントロピーを計算する数式を与えた。

情報の意味

現代の定義

情報とは、物質、エネルギー、情報、およびその特性を示すものです。 [逆ウィーナー情報の定義]

情報とは、確実性を高めることです。 [逆シャノン情報の定義]

情報は、物事とその属性識別子の集合です。 【2002】

最初の定義

情報理論の創始者の一人であるクロード E. シャノンは、情報 (エントロピー) を離散ランダム事象の発生確率として定義しました。 。

いわゆる情報エントロピーは数学におけるかなり抽象的な概念ですが、ここでは情報エントロピーをある種の情報の発生確率と理解するのがよいでしょう。情報エントロピーと熱力学的エントロピーは密接に関連しています。チャールズ H. ベネットによるマクスウェルの悪魔の再解釈によれば、情報の破壊は不可逆的なプロセスであるため、情報の破壊は熱力学の第 2 法則と一致します。情報の生成は、負の (熱力学的) エントロピーをシステムに導入するプロセスです。したがって、情報エントロピーの符号は、熱力学的エントロピーの符号と反対でなければなりません。

一般的に、ある情報が出現する確率が高いということは、その情報がより広く拡散されているか、より多く引用されているということを意味します。情報伝達の観点から見ると、情報エントロピーは情報の価値を表すことができると考えることができます。このようにして、情報の価値を測定する基準が得られ、知識の流通の問題についてより多くの推論を行うことができます。

計算式

H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑ P(xi)log(2,P(xi)) (i=1,2,..n)

ここで、x は確率変数を表し、これに対応するすべての可能な出力のセットが定義されます。はシンボルセットであり、確率変数の出力は x で表されます。 P(x) は出力確率関数を表します。変数の不確実性が大きければ大きいほど、エントロピーも大きくなり、それを理解するために必要な情報量も多くなります。

PHP 関連の技術記事の詳細については、PHP グラフィック チュートリアル をご覧ください。学びのコラム！

以上が情報エントロピーの計算式の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。