Réseaux de neurones profonds pour l'étalonnage de classification et l'étalonnage de régression

Le réseau neuronal profond est un puissant modèle d'apprentissage automatique qui peut apprendre automatiquement des fonctionnalités et des modèles. Cependant, dans les applications pratiques, la sortie des réseaux neuronaux doit souvent être calibrée pour améliorer les performances et la fiabilité. L'étalonnage de classification et l'étalonnage de régression sont des techniques d'étalonnage couramment utilisées et leurs principes et applications sont différents. Cet article présentera en détail les principes de fonctionnement et les scénarios d'application de ces deux technologies.

1. Étalonnage de classification

L'étalonnage de classification vise à améliorer la fiabilité et la précision du classificateur, ce qui est obtenu en ajustant le vecteur de distribution de probabilité produit par le classificateur. Dans un problème de classification, un réseau de neurones génère un vecteur représentant la probabilité prédite de chaque classe. Cependant, ces probabilités ne sont pas toujours exactes et peuvent être trop élevées ou trop faibles. L'objectif de l'étalonnage de la classification est d'ajuster ces probabilités pour les rapprocher de la véritable distribution de probabilité. Cela améliore les performances du classificateur, le rendant plus fiable dans la prédiction des probabilités de différentes classes.

Les méthodes d'étalonnage de classification couramment utilisées comprennent les deux suivantes :

1. Mise à l'échelle de la température

La mise à l'échelle de la température est une technologie d'étalonnage de classification simple et efficace, et son principe est basé sur le réseau neuronal. La sortie est mise à l'échelle. , ajustant ainsi la confiance du classificateur. Plus précisément, la mise à l'échelle de la température met à l'échelle la sortie de la dernière couche du réseau neuronal en introduisant un paramètre de température T, convertissant la probabilité de prédiction originale p en la probabilité calibrée q :

q_i=\frac{p_i^{\frac{1}{T}}}{\sum_{j=1}^K p_j^{\frac{1}{T}}}

où, i représente la i-ème catégorie, K représente la nombre total de catégories. Lorsque T = 1, l'échelle de température ne modifiera pas la probabilité de prédiction d'origine. Lorsque T > 1, l'échelle de température augmentera la confiance du classificateur, rendant la probabilité de prédiction plus concentrée et plus sûre lorsque T

Les avantages de l'échelle de température sont qu'elle est simple à mettre en œuvre, peu coûteuse et peut être calibrée sans recycler le modèle. Cependant, l'échelle de température ne garantit pas une amélioration efficace des performances du classificateur dans tous les cas, car elle suppose que les erreurs de toutes les catégories sont indépendantes et à la même échelle, ce qui n'est pas nécessairement vrai dans les applications pratiques.

2.Calibrage de Platt (Mise à l'échelle de Platt)

Le calibrage de Platt est une méthode d'étalonnage de classification relativement traditionnelle. Son principe est basé sur le modèle de régression logistique, ajustant la sortie du réseau neuronal pour obtenir la probabilité calibrée distribuée. Plus précisément, l'étalonnage de Platt introduit un modèle de régression logistique binaire pour ajuster la sortie du réseau neuronal afin d'obtenir une nouvelle distribution de probabilité. L'entrée du modèle de régression logistique est la sortie ou la caractéristique du réseau neuronal, et la sortie est une valeur de probabilité comprise entre 0 et 1. En ajustant un modèle de régression logistique, la valeur de probabilité corrigée pour chaque catégorie peut être obtenue.

L'avantage de l'étalonnage de Platt est qu'il peut estimer la probabilité de prédiction avec plus de précision et qu'il convient à une variété de problèmes de classification différents. Cependant, l'étalonnage de Platt nécessite un ajustement du modèle, le coût de calcul est donc élevé et une grande quantité de données étiquetées est nécessaire pour entraîner le modèle de régression logistique.

2. Calibrage de régression

Le calibrage de régression fait référence à la correction de la sortie du modèle de régression pour le rendre plus fiable et plus précis. Dans les problèmes de régression, la sortie d’un réseau neuronal est généralement une valeur réelle continue qui représente la valeur de la variable cible prédite. Cependant, ces valeurs prédites peuvent présenter un biais ou une variance, nécessitant un calibrage de régression pour améliorer la précision et la fiabilité des prédictions.

Les méthodes d'étalonnage de régression couramment utilisées comprennent les deux suivantes :

1. Étalonnage de la moyenne historique

L'étalonnage de la moyenne historique est une technologie d'étalonnage de régression simple et efficace, et son principe est d'utiliser des données historiques, de calculer le moyenne et variance de la variable cible, puis ajustez la valeur prédite du réseau neuronal. Plus précisément, l'étalonnage de la moyenne historique obtient un facteur d'étalonnage en calculant la moyenne et la variance des données historiques, puis corrige la valeur prédite du réseau neuronal pour la rapprocher de la véritable valeur cible. L'avantage de l'étalonnage de la moyenne historique est qu'il est simple et facile à utiliser, qu'il ne nécessite pas de données de formation supplémentaires ni de coûts de calcul, et qu'il convient à une variété de problèmes de régression différents.

2. Calibrage de régression linéaire

Le calibrage de régression linéaire est une technologie de calibrage de régression basée sur un modèle de régression linéaire. Son principe est de cartographier la valeur prédite du réseau neuronal en ajustant un modèle linéaire à la véritable valeur cible. . Plus précisément, l'étalonnage de la régression linéaire utilise des données étiquetées supplémentaires pour former un modèle de régression linéaire, en prenant la valeur prédite du réseau neuronal comme entrée et la valeur cible réelle comme sortie pour obtenir une fonction de cartographie linéaire, effectuant ainsi la prédiction sur la valeur prédite du réseau neuronal. valeur d'étalonnage.

L'avantage de l'étalonnage de la régression linéaire est qu'il peut estimer plus précisément la relation entre la valeur prédite et la valeur cible et qu'il convient à divers problèmes de régression. Cependant, l'ajustement de modèles de régression linéaire nécessite une grande quantité de données étiquetées et des coûts de calcul, et peut ne pas être efficace pour les problèmes de régression avec des relations non linéaires.

En général, l'étalonnage de classification et l'étalonnage de régression sont des techniques d'étalonnage courantes dans les réseaux de neurones profonds, qui peuvent améliorer les performances et la fiabilité du modèle. L'étalonnage de la classification ajuste principalement la confiance du classificateur pour rendre la probabilité de prédiction plus précise ; l'étalonnage de la régression rapproche principalement les résultats de la prédiction de la véritable valeur cible en corrigeant le biais et la variance de la valeur prédite. Dans les applications pratiques, les méthodes d'étalonnage appropriées doivent être sélectionnées en fonction de problèmes spécifiques et combinées avec d'autres techniques pour optimiser les performances du modèle.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!