Comment NetEase détecte-t-il et diagnostique-t-il les indicateurs de données anormales ?

1. Introduction au contexte

Les indicateurs sont étroitement liés aux affaires, et leur valeur réside dans la découverte des problèmes et la découverte des faits saillants, afin de résoudre les problèmes et de promouvoir les faits saillants en temps opportun. Avec le développement ultérieur du commerce électronique, l'itération commerciale est rapide, la logique est complexe, le nombre d'indicateurs augmente et les différences entre les indicateurs sont très grandes et les changements sont très rapides. indicateurs anormaux du système et trouver la cause profonde du problème est essentielle pour l'entreprise. Si le seuil d’alarme est défini manuellement, des omissions peuvent facilement se produire, ce qui prend beaucoup de temps et coûte cher. Nous espérons créer un ensemble de méthodes automatisées capables d'atteindre les objectifs suivants :

• L'automatisation n'a pas besoin de s'appuyer sur la saisie de l'utilisateur : la méthode traditionnelle nécessite de définir des règles d'exception, des dimensions d'attribution, etc., et une saisie manuelle de l'utilisateur. n'est plus nécessaire dans le système automatisé.
• Polyvalence : capable de s'adapter à une variété de distributions d'indicateurs, et différents indicateurs correspondent à différentes méthodes.
• Rapidité : réalisez la détection et l'attribution des anomalies des indicateurs au niveau du jour et de l'heure.
• Précision et initiative : atteindre l'objectif de trouver des personnes disposant de données.

Ensuite, nous présenterons respectivement la détection des anomalies des indicateurs et le diagnostic des anomalies des indicateurs.

2. Détection des anomalies des indicateurs

1. Quelles sont les anomalies

La première étape du travail en science des données est de définir le problème. Notre définition de l'anomalie est celle des anomalies dans les indicateurs de données qui sont trop élevés ou trop bas, ou qui fluctuent considérablement, sont anormaux et nécessitent une alerte et un diagnostic précoces. Les anomalies de l'indicateur sont divisées en trois types suivants :

• Anomalie en valeur absolue

fait référence aux valeurs aberrantes dans les statistiques qui ne suivent pas la distribution inhérente de l'indicateur. l'entreprise.

• Fluctuations anormales

Les points d'augmentation ou de diminution soudaine et excessive par rapport au mois précédent reflètent les changements soudains dans l'entreprise.

• Anomalies de tendance

Les deux premières anomalies sont ponctuelles, de courte durée et violentes, tandis que certaines anomalies sont relativement cachées et montrent une tendance déterministe à la hausse ou à la baisse à moyen et long terme. Cela indique souvent certains risques potentiels. Nous devons donc également détecter les anomalies de tendance, lancer des alertes commerciales et intervenir à l'avance.

Ces trois anomalies sont indépendantes les unes des autres, et différents scénarios peuvent correspondre à différents types d'anomalies.

Par exemple, le point A dans l'image ci-dessus présente à la fois une anomalie de valeur absolue et une anomalie de volatilité. Le point B ne signale qu'une anomalie de valeur absolue car il n'a pas beaucoup changé par rapport à la veille. Les points C et D n'ont signalé que des fluctuations anormales, mais les raisons sont différentes. La raison de la baisse soudaine de l'indicateur au point C est due au point B, qui est une baisse normale de l'indicateur. Cela doit être résolu par courrier. -logique de traitement.

2. Cadre de détection des anomalies des indicateurs

Afin d'obtenir la polyvalence, l'automatisation et la rapidité de la détection des indicateurs, nous avons conçu un cadre de détection non supervisé basé sur des tests statistiques.

• Détection d'anomalies en valeur absolue

Tout d'abord, la détection de valeurs absolues repose principalement sur l'algorithme de test GESD. Son principe est de rechercher des points anormaux en calculant des statistiques. Le processus est le suivant :

Supposons qu'il y ait au plus des valeurs aberrantes dans l'ensemble de données. La première étape consiste à trouver l'échantillon i qui est le plus grand par rapport à la moyenne, puis à calculer la statistique R_i, qui est la valeur absolue de x_i moins la moyenne, divisée par l'écart type. Ensuite, calculez la valeur critique λ_i du point d'échantillonnage correspondant i, où n est la taille totale de l'échantillon, i est l'échantillon qui a été éliminé et t est p de la distribution t avec n-i-1 degrés de liberté. point de pourcentage, et p est lié à la confiance définie α (généralement la valeur α est de 0,05) et à la taille actuelle de l’échantillon.

La deuxième étape consiste à éliminer l'échantillon i qui est le plus éloigné de la moyenne, puis à répéter les étapes ci-dessus pour un total de r fois.

La troisième étape consiste à trouver des échantillons dont la statistique R_i est supérieure à λ_i, qui sont des points anormaux.

Les avantages de cette méthode sont : premièrement, il n'est pas nécessaire de spécifier le nombre de valeurs aberrantes, seule la limite supérieure des exceptions doit être définie. Dans la limite supérieure, l'algorithme capturera automatiquement les points anormaux. il surmonte le faible taux de détection de 3Sigma (moins de 1 %), seuls des problèmes anormaux très extrêmes peuvent être détectés.

Dans l'algorithme GESD, l'adaptation peut être effectuée en contrôlant la limite supérieure du taux de détection, mais le principe de cette méthode est que les indicateurs d'entrée doivent être normalement distribués. La plupart des indicateurs commerciaux du commerce électronique que nous observons actuellement sont distribués normalement. Bien entendu, il existe également des indicateurs commerciaux individuels (

• Détection des anomalies de volatilité

Le deuxième type est la détection des anomalies de volatilité, qui est principalement basée sur la distribution de volatilité et calcule le point d'inflexion de la distribution. La méthode ci-dessus ne peut pas être directement appliquée à la distribution de la volatilité ici, principalement parce que la majeure partie de la volatilité de l'indicateur n'est pas normalement distribuée, elle n'est donc pas applicable. Le principe de la recherche du point d'inflexion est de trouver le point de flexion maximal sur la courbe en fonction de la dérivée seconde et de la distance. La volatilité croissante est supérieure à 0 et la volatilité décroissante est inférieure à 0. Pour les parties supérieures à 0 et inférieures à 0 des deux côtés de l'axe des y, deux points d'inflexion de volatilité doivent être trouvés respectivement si la volatilité dépasse. la plage du point d'inflexion, elle est considérée comme une fluctuation anormale. Cependant, dans certains cas, le point d'inflexion peut ne pas exister, ou le point d'inflexion peut survenir trop tôt, ce qui rend le taux de détection trop élevé. Par conséquent, d'autres méthodes sont également nécessaires pour le découvrir, comme le quantile. Une méthode d’inspection n’est pas une panacée et doit être utilisée en combinaison.

• Détection d'anomalies de tendance

Le troisième type est la détection d'anomalies de tendance, basée sur le test de Man-Kendall. Calculez d'abord la statistique S, où sgn est la fonction de signe. Selon la relation de taille relative entre les valeurs avant et après la séquence d'indicateurs, trois valeurs de mappage telles que -1, 1 et 0 peuvent être obtenues. en les jumelant par paires. En standardisant la statistique S, nous obtenons Z, qui peut être convertie en valeur p en consultant le tableau. Statistiquement, une tendance significative est considérée lorsque la valeur p est inférieure à 0,05.

Le premier avantage est qu'il s'agit d'un test non paramétrique, qui peut s'appliquer à toutes les distributions, il n'y a donc pas besoin d'une méthode approfondie. Le deuxième avantage est qu'il n'est pas nécessaire que la séquence d'indicateurs soit continue, car lors de la détection d'anomalies de tendance, les échantillons avec des valeurs absolues anormales doivent être éliminés à l'avance, de sorte que la plupart des séquences d'indicateurs ne sont pas continues, mais cette méthode peut prendre en charge des indicateurs discontinus. .

• Post-traitement de détection des anomalies

Une fois les trois exceptions terminées, un travail de post-traitement est nécessaire. Le but est principalement de réduire les alarmes inutiles et de réduire les interruptions de l'activité.

Le premier type est l'anomalie de données. Cette anomalie de données ne signifie pas que la source de données est erronée, car la source de données est au niveau de l'entrepôt de données et est garantie par l'équipe de l'entrepôt de données. L'anomalie des données fait ici référence aux fluctuations anormales du cycle actuel causées par les anomalies du cycle précédent. Par exemple, un indicateur a augmenté de 100 % hier et a chuté de 50 % aujourd'hui. Dans ce cas, il doit être éliminé sur la base de. règles. Les conditions d'élimination C'est-à-dire (1) il y a eu des fluctuations ou des anomalies en valeur absolue dans le cycle précédent (2) les fluctuations de ce cycle reviennent à la normale, c'est-à-dire qu'il y a des fluctuations mais pas d'anomalies en valeur absolue dans le même sens. comme les fluctuations. Par exemple, s'il a augmenté de 100 % hier et a baissé de 50 % aujourd'hui, il sera filtré par le module de post-traitement. Cependant, s'il a baissé de 99 %, une anomalie en valeur absolue sera quand même déclenchée et un avertissement sera émis. être requis. Nous avons ainsi éliminé au total plus de 40 % des anomalies de fluctuation.

Le deuxième type de post-traitement est basé sur la collaboration d'informations pour les promotions de niveau S. Dans ce type de promotion, des indicateurs anormaux peuvent survenir toutes les heures. Tout le monde en connaît la raison, il n'est donc pas nécessaire de le signaler.

3. Diagnostic d'anomalie d'indicateur

1. Division de niveau du diagnostic d'anomalie d'indicateur

Selon la région réalisable et la certitude de la conclusion, l'inférence peut être divisée en trois niveaux, à savoir l'inférence déterministe, l'inférence de possibilité et la supposition. inférence sexuelle.

2. Comparaison des méthodes de diagnostic des anomalies indicatrices

Différents niveaux d'inférence correspondent à différentes méthodes de diagnostic.

Inférence spéculative, la conclusion repose principalement sur l'expérience humaine, la conclusion est relativement peu claire, l'espace exploitable est limité et elle n'entre pas dans le cadre de la discussion sur la méthode dans cet article.

L'inférence de possibilité (1) peut être basée sur l'apprentissage automatique pour ajuster les données des indicateurs, faire des prédictions de régression et calculer l'importance des caractéristiques. L'inconvénient de cette méthode est qu'elle ne peut pas expliquer la cause d'une seule anomalie. (2) Si vous souhaitez expliquer une seule anomalie, vous devez ajouter un algorithme de valeur de forme, qui peut calculer chaque valeur prédite et la contribution de chaque entité d'entrée à la cible. Cette méthode a une certaine interprétabilité, mais elle n’est pas assez précise et ne peut établir que des corrélations et non des liens de causalité. (3) Les réseaux bayésiens peuvent être utilisés pour construire des graphiques et des réseaux de relations entre indicateurs, mais l'inconvénient est que le calcul est relativement complexe et boîte noire.

L'inférence déterministe est principalement basée sur l'algorithme de contribution au désassemblage. Qu'il s'agisse d'addition, de multiplication ou de division, l'algorithme de contribution du démantèlement mesure l'impact des changements d'indicateurs ou de structure de chaque partie sur l'ensemble selon la méthode du désassemblage. L’avantage est qu’il est relativement déterministe, en boîte blanche, hautement adaptable et peut localiser avec précision l’emplacement des anomalies. Cependant, il présente également des inconvénients naturels, c'est-à-dire qu'il existe de nombreuses dimensions qui peuvent être démontées pour le même indicateur, ce qui entraînera le problème de l'explosion des dimensions combinées.

3. Situation actuelle de l'entreprise

De nombreux problèmes en science des données nécessitent la sélection de méthodes correspondantes basées sur les scénarios commerciaux réels. Par conséquent, avant de présenter notre approche, présentons la situation actuelle de l’entreprise.

Nous savons que la croissance des plateformes de commerce électronique est tirée par la rétention du trafic et la conversion payante. Alors que le dividende démographique atteint son apogée et qu'il devient de plus en plus difficile d'obtenir du trafic, NetEase Yanxuan a procédé à des mises à niveau stratégiques, passant de la plate-forme de commerce électronique au commerce électronique de marque, et transformant les sociétés de plate-forme de commerce électronique telles que JD.com et Taobao en marque. partenaires.

La méthode de commerce électronique de marque axée sur la croissance consiste à percer avec des produits explosifs grâce à une collaboration omnicanal et à créer des catégories vedettes pour établir la marque. Par exemple, vous ne connaissez peut-être pas nécessairement NetEase Yanxuan via notre application, mais vous pouvez en apprendre davantage sur notre marque en achetant certains produits sur Taobao et JD.com. La perspective de croissance de NetEase Yanxuan est passée de l'acquisition, de la fidélisation et du paiement des utilisateurs à la création de produits très vendus et à une croissance révolutionnaire des canaux.

La classification des indicateurs du commerce électronique des marques peut être divisée en niveau stratégique, niveau tactique et niveau d'exécution. La couche stratégique correspond à l’indicateur de premier niveau, l’indicateur North Star. Par exemple, le GMV du marché mesure l’atteinte des objectifs et sert les décisions stratégiques de l’entreprise. La couche tactique correspond aux indicateurs de deuxième niveau, obtenus en répartissant les indicateurs de premier niveau en départements et métiers à tous les niveaux, et servent à la gestion des processus. La couche d'exécution correspond aux indicateurs de troisième niveau, qui divisent en outre les indicateurs de deuxième niveau en catégories de produits et de personnes responsables à tous les niveaux, et les services sont mis en œuvre en détail.

Basé sur la méthode actuelle de notation d'index du commerce électronique des marques et sur la nécessité de localiser les départements, les personnes et les produits, notre algorithme doit être déterministe, interprétable et en boîte blanche. Nous avons donc adopté une méthode basée sur le démantèlement pour calculer l’impact des indicateurs de chaque couche sur l’ensemble, qui est la méthode de contribution au démantèlement mentionnée ci-dessus.

4. Méthode de calcul de la contribution de démantèlement

Il existe trois façons de calculer la contribution, l'une est l'addition, l'autre la multiplication et l'autre la division.

La méthode de démontage est celle indiquée sur l'image ci-dessus. Y est l'indicateur cible à démonter, tel que le GMV du marché, et L'indicateur de la période en cours, X_i0 représente la valeur initiale de la période précédente. La formule de démantèlement de l'addition est facile à comprendre. La valeur de changement de chaque valeur de dimension ΔXⁱ divisée par la valeur originale globale Y0

est sa contribution.

La décomposition par multiplication adopte la méthode de décomposition des facteurs produits LMDI (Logarithmic Mean Index Method). En prenant le logarithme ln des deux côtés en même temps, la forme additive peut être obtenue. Ensuite, selon la méthode ci-dessus, la contribution de chaque facteur peut être obtenue. Plus le rapport recto-verso des valeurs de dimension est élevé, plus la contribution est importante.

La méthode de division adopte une méthode de démantèlement à deux facteurs, c'est-à-dire que la contribution de chaque partie et de chaque valeur de dimension à l'ensemble est composée de deux facteurs. Le premier facteur est la contribution à la fluctuation, représentée par A_Xi ; le deuxième facteur est la contribution au changement structurel B_Xi, c'est-à-dire la contribution au changement structurel de chaque partie. Par exemple, la marge brute de chaque division a augmenté, mais la marge brute globale de l'entreprise a diminué. La raison en est probablement que la proportion des ventes d'un certain département à faible marge a augmenté, ce qui a entraîné une baisse de l'ensemble, ce qui est ce que nous connaissons le paradoxe de Simpson. Dans l'algorithme de désassemblage de division, ce problème peut être résolu en introduisant la contribution des changements structurels de B_Xi.

Une caractéristique très importante de la contribution est l'additivité, qui satisfait au principe MECE de non-répétition et de non-fuite. Quelle que soit la méthode de démontage, en additionnant toutes les contributions aux valeurs de dimension C_Xi sous une certaine dimension de démontage, le taux de changement global ΔY% peut être obtenu.

5. Problème d'explosion dimensionnelle du démontage de l'indicateur

Supposons que nous démontions la cause anormale d'un certain indicateur de premier niveau, tel que les ventes ou la marge brute, etc. La dimension divisée peut être un canal de vente ou des provinces, les villes et les régions peuvent également être basées sur des catégories de produits, des nouveaux et anciens clients, etc. En supposant qu'il existe n dimensions divisées, vous devez alors générer un tableau intermédiaire correspondant à n dimensions, puis calculer le changement d'indicateur pour chaque valeur de dimension X_i sous chaque dimension pour obtenir sa contribution.

Afin de trouver avec précision la cause des anomalies des indicateurs, le problème est qu'une seule dimension est démontée, et seule la conclusion de cette dimension peut être obtenue, et le problème précis ne peut pas être localisé. Si les dimensions désagrégées sont trop détaillées, par exemple en combinant toutes les dimensions, alors la contribution de chaque élément est trop faible et la raison principale ne peut pas être obtenue. Nous devons donc ici approfondir et de manière exhaustive, rechercher la conclusion que nous souhaitons dans diverses combinaisons de dimensions.

En supposant qu'il existe actuellement n dimensions fractionnées, alors 2ⁿ tables intermédiaires doivent être établies en premier. Lors du processus d'établissement des tables intermédiaires, il est nécessaire de s'assurer que le calibre est cohérent et répond à l'entrepôt de données. spécifications. La charge de travail est très importante. Une fois ces tables intermédiaires construites, l'API de l'algorithme de désassemblage est appelée pour calculer la contribution correspondante. Cela entraîne une très grande consommation de calcul et de stockage, c'est-à-dire le problème de l'explosion de la dimensionnalité.

6. Optimisation du problème d'explosion dimensionnelle du démontage de l'indicateur

Afin de résoudre le problème d'explosion dimensionnelle, les optimisations suivantes ont été apportées au plan de mise en œuvre :

Optimisation 1 : Transformer le processus de désassemblage dimensionnel en un dimensionnement basé sur la contribution Degré d'agrégation. Comme mentionné dans l'article précédent, étant donné que le degré de contribution est additif, l'algorithme est d'abord appelé pour calculer le degré de contribution de l'indicateur final le plus fin, puis quelle dimension du degré de contribution est nécessaire, l'utiliser pour faire le groupe par condition pour additionner le degré de contribution. Cela peut omettre le processus d'E/S de la table intermédiaire et ne nécessite qu'un seul appel d'algorithme. Effectuer l'opération de sommation sur le cluster sera beaucoup plus rapide que d'appeler l'algorithme de désassemblage de l'indicateur.

Ce qui précède est un diagnostic anormal pour les indicateurs de premier niveau. Dans notre activité actuelle, nous devons également diagnostiquer les indicateurs de deuxième niveau. Cette méthode ne nécessite qu'une nouvelle normalisation de la contribution et ne nécessite pas de calculs répétés. Un diagnostic anormal peut être effectué simultanément pour les indicateurs primaires et secondaires.

Le problème de l'efficacité informatique a été résolu, mais il reste toujours un problème, c'est-à-dire que la complexité spatiale du résultat est très grande, atteignant . Supposons que k soit le nombre moyen de valeurs de dimension dans chaque dimension, espace de démantèlement unidimensionnel + espace de démantèlement bidimensionnel + espace de démantèlement tridimensionnel + espace de démantèlement n-dimensionnel = .

Optimisation 2 : Limitez la combinaison de dimensions pour mettre en œuvre l'élagage en fonction des besoins réels de l'entreprise, réduisant ainsi la complexité spatiale du résultat de à

image

. Plus précisément, il comprend deux opérations. La première consiste à regrouper les dimensions ayant des relations hiérarchiques naturelles, telles que les canaux de premier niveau et les canaux de deuxième niveau, si elles sont divisées en canaux de deuxième niveau, les informations sur les canaux de premier niveau sont. déjà disponible, il n'est donc pas nécessaire de créer une combinaison redondante de canaux de premier niveau et de canaux de deuxième niveau, il vous suffit de combiner les dimensions entre les groupes. La seconde consiste à limiter le nombre de combinaisons de dimensions, car lors de l'analyse du diagnostic d'attribution, l'entreprise réelle ne prêtera pas attention aux dimensions particulièrement complexes. Généralement, une combinaison de deux ou trois dimensions suffit.

Optimisation 3 : sur la base du tri du coefficient Gini des dimensions, déterminez la meilleure dimension et obtenez un positionnement anormalement précis. Avec plusieurs degrés fractionnés et les contributions de valeurs dimensionnelles correspondantes après la taille, comment pouvons-nous sélectionner le meilleur d’entre eux et en localiser la raison principale ? L'idée intuitive est que plus la granularité d'une certaine dimension est fine et plus la contribution de la valeur de dimension supérieure de la tête est importante, plus elle est susceptible d'être la cause principale des anomalies de l'indicateur. Le coefficient de Gini est une méthode de mesure plus adaptée à ce scénario. Plus la somme carrée de la contribution de chaque partie moins 1 est petite, plus les dimensions de répartition sont raisonnables.

Le côté droit de l'image ci-dessus donne un exemple. Pour une certaine anomalie de vente, la première méthode consiste à la diviser par dimension de produit. La contribution de chaque produit étant trop faible, le coefficient de Gini est très grand. La deuxième méthode consiste à démanteler les canaux secondaires en fonction de la granularité. La granularité est relativement grossière et le coefficient de Gini calculé peut être une valeur relativement élevée. La troisième méthode est calculée sur la base de l'industrie de premier niveau multipliée par les canaux de deuxième niveau. Le coefficient de Gini est probablement encore plus faible, car les canaux de deuxième niveau descendent d'un niveau plus bas et certaines parties ont des contributions positives et d'autres. les parties ont des contributions négatives. La contribution positive est la partie qui a un effet positif sur la fluctuation de l'indicateur, et la contribution négative est la partie qui a un effet négatif. Dans cet exemple, vous pouvez voir que l'industrie de dimension divisée 1 traverse le canal 1 avec une contribution de 60%, qui est classée comme cause principale, ce qui est plus conforme à notre compréhension. Ainsi, grâce au coefficient de Gini, nous pouvons trouver des dimensions de répartition plus raisonnables et les principales causes des anomalies des indicateurs.

4. QA

Q1 : Quels indicateurs sont utilisés pour évaluer l'exactitude du diagnostic ?

A1 : Parce que nous utilisons un diagnostic déterministe, la conclusion est très claire. Si vous le regardez du point de vue des indicateurs purs, la précision est assurée par le calcul et l’écriture du code. Du point de vue de la compréhension commerciale, par exemple, cette exception est due au fait qu'une certaine entreprise effectue une opération normale, ou à des faux positifs ou à des faux négatifs dus à d'autres raisons. Dans ce cas, l'exactitude est évaluée en collectant les mauvais cas.

Q2 : Le démantèlement des points de cotisation sera-t-il mixte ? Par exemple, dans le démantèlement du GMV, l'addition est utilisée initialement pour démanteler les canaux, et des formules de multiplication sont utilisées ultérieurement. Comment juger de l'ordre d'utilisation des différentes méthodes de démantèlement ?

A2 : C'est une très bonne question pratique. Tout d'abord, il est possible d'utiliser un mélange d'addition et de multiplication. Vous pouvez rechercher de manière gourmande, calculer la contribution correspondant à la valeur de la dimension TOP de chaque étape et la contribution après démontage à l'étape suivante, et la déterminer en fonction. sur la diminution de la contribution. L'étape suivante consiste à la décomposer par addition ou multiplication.

Une autre façon de penser est de suivre d'abord une certaine direction, comme pour le GMV du commerce électronique, vous pouvez d'abord le démonter par addition, et continuer à le démonter jusqu'au niveau le plus bas, comme un certain produit, puis démonter ce produit Réaliser une analyse multiplicative pour savoir pourquoi le GMV de ce produit a baissé, si le trafic a baissé ou si le taux de conversion a baissé, etc. L'approche spécifique doit être combinée avec différents besoins commerciaux réels, ainsi qu'avec des considérations telles que les délais et les coûts de développement.

Dans le scénario actuel de NetEase Yanxuan, compte tenu de la polyvalence et du statut commercial, en tant qu'entreprise de commerce électronique de marque, lors de la vente sur des canaux externes, des facteurs tels que le trafic et le taux de conversion sont des boîtes noires pour nous, donc dans notre In les scénarios commerciaux, l'ajout et le démontage sont au centre de l'attention.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!