Formule de calcul de l'entropie de l'information

L'information est un concept très abstrait. Les gens disent souvent qu’il y a beaucoup d’informations, ou qu’il y en a moins, mais il est difficile de dire exactement quelle quantité d’informations il y a. Par exemple, quelle quantité d’informations contient un livre chinois de 500 000 mots ?

Ce n'est qu'en 1948 que Shannon propose le concept d'« entropie de l'information » pour résoudre le problème de la mesure quantitative de l'information. Le terme entropie de l’information est C. E. Shannon l'a emprunté à la thermodynamique. L'entropie thermique en thermodynamique est une grandeur physique qui exprime le degré de désordre d'un état moléculaire. Shannon a utilisé le concept d'entropie de l'information pour décrire l'incertitude de la source d'information. (Apprentissage recommandé : Tutoriel vidéo PHP)

Claude Elwood Shannon, le père de la théorie de l'information, a utilisé pour la première fois le langage mathématique pour clarifier la relation entre probabilité et redondance de l'information.

C. E. Shannon, le père de la théorie de l'information, a souligné dans l'article "A Mathematical Theory of Communication" publié en 1948 qu'il y a une redondance dans toute information, et que la taille de la redondance est liée à chaque symbole dans l'information (chiffres, lettres ou mots) ou l'incertitude.

Shannon s'est inspiré du concept de thermodynamique et a appelé la quantité moyenne d'informations après exclusion de la redondance « entropie de l'information », et a donné une expression mathématique pour calculer l'entropie de l'information.

Signification de l'information

Définition moderne

L'information est l'indication de la matière, de l'énergie, de l'information et de ses propriétés. [Définition de l'information Wiener inverse]

L'information est une augmentation de la certitude. [Définition de l'information inverse de Shannon]

L'information est un ensemble d'éléments et de leurs identifiants d'attribut. 【2002】

Définition originale

Claude E. Shannon, l'un des initiateurs de la théorie de l'information, a défini l'information (entropie) comme la probabilité d'apparition d'événements aléatoires discrets .

La soi-disant entropie de l'information est un concept plutôt abstrait en mathématiques. Ici, nous pourrions tout aussi bien comprendre l'entropie de l'information comme la probabilité d'apparition d'un certain type d'information. L'entropie de l'information et l'entropie thermodynamique sont étroitement liées. Selon la réinterprétation du Démon de Maxwell par Charles H. Bennett, la destruction de l'information est un processus irréversible, donc la destruction de l'information est conforme à la deuxième loi de la thermodynamique. La génération d'informations est le processus d'introduction d'une entropie négative (thermodynamique) dans le système. Par conséquent, le signe de l’entropie informationnelle devrait être opposé à celui de l’entropie thermodynamique.

De manière générale, lorsqu'une information a une plus grande probabilité d'apparaître, cela signifie qu'elle est plus largement diffusée, ou qu'elle est davantage citée. On peut penser que du point de vue de la diffusion de l’information, l’entropie de l’information peut représenter la valeur de l’information. De cette façon, nous disposons d’une norme pour mesurer la valeur de l’information et pouvons tirer davantage de conclusions sur les problèmes de circulation des connaissances.

Formule de calcul

H(x) = E[I(xi)] = E[ log(2,1/P(xi)) ] = -∑ P(xi)log(2,P(xi)) (i=1,2,..n)

où, x représente une variable aléatoire, correspondant à laquelle est l'ensemble de toutes les sorties possibles, défini est un jeu de symboles et la sortie de la variable aléatoire est représentée par x. P(x) représente la fonction de probabilité de sortie. Plus l'incertitude de la variable est grande, plus l'entropie est grande et plus la quantité d'informations nécessaires pour la comprendre est grande

Pour plus d'articles techniques liés à PHP, veuillez visiter Tutoriel graphique PHP rubrique pour apprendre !

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!