Présenter la définition, les scénarios d'utilisation, les algorithmes et les techniques d'apprentissage d'ensemble

L'apprentissage d'ensemble est une méthode permettant d'atteindre un consensus en intégrant les caractéristiques saillantes de plusieurs modèles. En combinant les prédictions de plusieurs modèles, les cadres d'apprentissage d'ensemble peuvent améliorer la robustesse des prédictions et ainsi réduire les erreurs de prédiction. En intégrant les différents avantages de plusieurs modèles, l'apprentissage d'ensemble peut mieux s'adapter à la distribution et à l'incertitude des données complexes, et améliorer la précision et la robustesse des prédictions.

Pour comprendre simplement, l'apprentissage d'ensemble capture des informations complémentaires provenant de différents modèles.

Dans cet article, examinons quelles situations utiliseraient l'apprentissage d'ensemble, et quels algorithmes et techniques existe-t-il pour l'apprentissage d'ensemble ?

Applications de l'apprentissage d'ensemble

1. Impossible de choisir le meilleur modèle

Différents modèles fonctionnent mieux sur certaines distributions de l'ensemble de données, et l'ensemble de modèles peut se situer entre les trois types de données. des limites de décision plus exigeantes.

2. Excès/insuffisance de données

Lorsqu'une grande quantité de données est disponible, nous pouvons diviser la tâche de classification entre différents classificateurs et les intégrer dans le temps de prédiction, au lieu d'essayer d'utiliser une grande quantité de données. un classificateur. Et dans les cas où l’ensemble de données disponibles est plus petit, une stratégie d’intégration guidée peut être utilisée.

3. Estimation de la confiance

Le cœur du cadre d'ensemble est basé sur la confiance de différentes prédictions de modèles.

4. Complexité élevée du problème

Un seul classificateur peut ne pas être en mesure de générer des limites appropriées. Un ensemble de plusieurs classificateurs linéaires peut générer n'importe quelle limite de décision polynomiale.

5. Fusion d'informations

La raison la plus courante pour laquelle on utilise des modèles d'apprentissage d'ensemble est la fusion d'informations pour améliorer les performances de classification. Autrement dit, utilisez un modèle qui a été formé sur différentes distributions de données appartenant au même ensemble de catégories pendant la période de prédiction pour obtenir des décisions plus robustes.

Algorithmes et techniques d'apprentissage d'ensemble

L'algorithme d'ensemble d'ensachage

est l'une des premières méthodes d'ensemble proposées. Les sous-échantillons sont créés à partir de l'ensemble de données et sont appelés « échantillonnage bootstrap ». En termes simples, des sous-ensembles aléatoires de l'ensemble de données sont créés par remplacement, ce qui signifie que les mêmes points de données peuvent exister dans plusieurs sous-ensembles.

Ces sous-ensembles sont désormais traités comme des ensembles de données indépendants auxquels seront adaptés plusieurs modèles d'apprentissage automatique. Lors des tests, les prédictions de tous ces modèles formés sur différents sous-ensembles des mêmes données sont prises en compte. Enfin, il existe un mécanisme d'agrégation utilisé pour calculer la prédiction finale.

Des flux de traitement parallèles se produisent dans le mécanisme de Bagging, dont l'objectif principal est de réduire la variance dans les prédictions d'ensemble. , par conséquent, le classificateur d'ensemble sélectionné a généralement une variance élevée et un faible biais.

Par conséquent, le classificateur d'ensemble sélectionné a généralement une variance élevée et un faible biais.

Algorithme d'intégration Boosting

Contrairement à l'algorithme d'intégration Bagging, l'algorithme d'intégration Boosting ne traite pas les données en parallèle, mais traite l'ensemble de données de manière séquentielle. Le premier classificateur prend en compte l’ensemble des données et analyse les prédictions. Les instances qui ne parviennent pas à produire des prédictions correctes sont transmises à un deuxième classificateur. L'ensemble de tous ces classificateurs précédents est ensuite calculé pour effectuer la prédiction finale sur les données de test.

L'objectif principal de l'algorithme Boosting est de réduire les biais dans la prise de décision d'ensemble. Par conséquent, le classificateur sélectionné pour l’ensemble doit généralement avoir une faible variance et un biais élevé, c’est-à-dire un modèle plus simple avec moins de paramètres pouvant être entraînés.

algorithme d'ensemble d'empilage

La sortie de ce modèle d'algorithme est utilisée comme entrée d'un autre classificateur (méta-classificateur), et l'échantillon est finalement prédit. Le but de l'utilisation d'un classificateur à deux couches est de déterminer si les données d'entraînement ont été apprises, aidant ainsi le méta-classificateur à les corriger ou à les améliorer avant de faire la prédiction finale.

Mélange d'experts

Cette méthode entraîne plusieurs classificateurs, puis la sortie est intégrée à l'aide de règles linéaires généralisées. Les pondérations attribuées à ces combinaisons sont en outre déterminées par le « Gating Network », qui est également un modèle pouvant être entraîné, généralement un réseau de neurones.

Vote majoritaire

Le vote majoritaire est l'un des schémas d'intégration les plus anciens et les plus simples de la littérature. Dans cette méthode, un nombre impair de classificateurs contributeurs sont sélectionnés et les prédictions des classificateurs sont calculées pour chaque échantillon. Ensuite, la plupart des classes prédites considérées comme des ensembles sont obtenues à partir du pool de classificateurs.

Cette méthode convient aux problèmes de classification binaire car seuls deux classificateurs candidats peuvent être votés. Cependant, les méthodes basées sur les scores de confiance sont pour l’instant plus fiables.

Règle Max (Règle Max)

La méthode d'ensemble "Règle Max" repose sur la distribution de probabilité générée par chaque classificateur. Cette méthode utilise le concept de « confiance de prédiction » du classificateur, et pour la classe prédite par le classificateur, le score de confiance correspondant est vérifié. Considérez la prédiction du classificateur avec le score de confiance le plus élevé comme la prédiction du cadre d'ensemble.

Moyenne de probabilité

Dans cette technique d'ensemble, les scores de probabilité de plusieurs modèles sont d'abord calculés. Ensuite, les scores de tous les modèles dans toutes les classes de l'ensemble de données sont moyennés. Le score de probabilité est le niveau de confiance dans la prédiction d'un modèle particulier. Par conséquent, les scores de confiance de plusieurs modèles sont regroupés pour générer le score de probabilité final de l’ensemble. La classe ayant la probabilité la plus élevée après l’opération de moyenne est attribuée comme prédiction.

Moyenne de probabilité pondérée

Semblable à la méthode de moyenne de probabilité, les scores de probabilité ou de confiance sont extraits de différents modèles contributifs. Mais la différence est qu’une moyenne pondérée des probabilités est calculée. Le poids dans cette méthode fait référence à l'importance de chaque classificateur, c'est-à-dire qu'un classificateur dont les performances globales sur l'ensemble de données sont meilleures qu'un autre classificateur se voit attribuer une importance plus élevée lors du calcul de l'ensemble, donnant ainsi au cadre d'ensemble de meilleures capacités prédictives.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!