Méthode courante : mesurer la perplexité d'un nouveau modèle de langage

Il existe de nombreuses façons d'évaluer de nouveaux modèles de langage, dont certains sont basés sur une évaluation par des experts humains, tandis que d'autres sont basés sur une évaluation automatisée. Chacune de ces méthodes présente des avantages et des inconvénients. Cet article se concentrera sur les méthodes de perplexité basées sur l'évaluation automatisée.

La perplexité est un indicateur utilisé pour évaluer la qualité des modèles de langage. Il mesure le pouvoir prédictif d’un modèle de langage à partir d’un ensemble de données. Plus la valeur de confusion est faible, meilleure est la capacité de prédiction du modèle. Cette métrique est souvent utilisée pour évaluer les modèles de traitement du langage naturel afin de mesurer la capacité du modèle à prédire le mot suivant dans un texte donné. Une perplexité plus faible indique de meilleures performances du modèle.

Dans le traitement du langage naturel, le but d'un modèle linguistique est de prédire la probabilité du mot suivant dans une séquence. Étant donné une séquence de mots w_1,w_2,…,w_n, le but du modèle de langage est de calculer la probabilité conjointe P(w_1,w_2,…,w_n) de la séquence. En utilisant la règle de la chaîne, la probabilité conjointe peut être décomposée en produit de probabilités conditionnelles : P(w_1,w_2,…,w_n)=P(w_1)P(w_2|w_1)P(w_3|w_1,w_2)…P( w_n| w_1,w_2,…,w_{n-1})

La perplexité est un indicateur utilisé pour calculer la probabilité conditionnelle. Il mesure l'entropie de la distribution de probabilité prédite à l'aide du modèle. La perplexité est calculée comme suit : étant donné l'ensemble de données de test D, la perplexité peut être définie comme perplexity(D)=sqrt[N]{prod_{i=1}^{N}frac{1}{P(w_i|w_1 , w_2,…,w_{i-1})}}. Parmi eux, N représente le nombre de mots dans l'ensemble de données de test D, et P(w_i|w_1,w_2,...,w_{i-1}) représente la prédiction du i-ème mot lorsque le premier i- 1 mots sont connus. Plus la confusion est faible, mieux le modèle prédit les données de test.

Où, N représente le nombre total de mots dans l'ensemble de données D. P(w_i|w_1,w_2,…,w_{i-1}) est la probabilité conditionnelle du modèle prédisant le i-ème mot étant donné les i-1 premiers mots. Plus la valeur de confusion est faible, plus la capacité de prédiction du modèle est forte.

Le principe de perplexité

Le principe de perplexité repose sur la notion d'entropie informationnelle. L'entropie de l'information est une mesure de l'incertitude d'une variable aléatoire. Cela signifie que pour une variable aléatoire discrète

Parmi elles, P(x) est la probabilité que la variable aléatoire X prenne la valeur x. Plus l'entropie est grande, plus l'incertitude de la variable aléatoire est élevée.

Dans les modèles de langage, le calcul de perplexité peut être transformé en la moyenne de la somme des valeurs d'entropie des probabilités conditionnelles de chaque mot dans un ensemble de données de test D donné. Plus la valeur de la confusion est faible, plus la distribution de probabilité prédite par le modèle est proche de la véritable distribution de probabilité et meilleures sont les performances du modèle.

Comment implémenter la perplexité

Lors du calcul de la perplexité, vous devez utiliser un modèle de langage entraîné pour prédire la probabilité conditionnelle de chaque mot dans l'ensemble de données de test. Plus précisément, les étapes suivantes peuvent être utilisées pour calculer la perplexité :

Pour chaque mot de l'ensemble de données de test, utilisez le modèle de langage entraîné pour calculer sa probabilité conditionnelle P(w_i|w_1,w_2,…,w_{i- 1}).

Prenez le logarithme de la probabilité conditionnelle de chaque mot pour éviter un débordement ou une erreur une fois que le produit des probabilités devient la somme des probabilités. La formule de calcul est la suivante : log P(w_i|w_1,w_2,…,w_{i-1})

Ajoutez le logarithme négatif de la probabilité conditionnelle de chaque mot pour obtenir la perplexité de l'ensemble de données de test. La formule de calcul est : perplexité(D)=expleft{-frac{1}{N}sum_{i=1}^{N}log P(w_i|w_1,w_2,…,w_{i-1})right}

Le calcul de la perplexité nécessite l'utilisation d'un modèle de langage entraîné, le modèle de langage doit donc être entraîné en premier lors de la mise en œuvre. Il existe de nombreuses méthodes pour entraîner des modèles linguistiques, tels que les modèles n-gram, les modèles linguistiques de réseaux neuronaux, etc. Pendant la formation, un corpus de texte à grande échelle doit être utilisé afin que le modèle puisse apprendre les relations et les distributions de probabilité entre les mots.

En général, la perplexité est un indicateur couramment utilisé pour évaluer la qualité des modèles de langage. Le pouvoir prédictif d'un modèle de langage peut être évalué en calculant la moyenne de la somme des valeurs d'entropie des probabilités conditionnelles pour chaque mot de l'ensemble de données de test. Plus la confusion est faible, plus la distribution de probabilité prédite par le modèle est proche de la véritable distribution de probabilité, et meilleures sont les performances du modèle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!