Détection des anomalies : minimisez les faux positifs grâce au moteur de règles

Les anomalies sont des écarts par rapport aux modèles attendus et peuvent survenir dans divers environnements, qu'il s'agisse de transactions bancaires, d'opérations industrielles, du secteur du marketing ou de la surveillance des soins de santé. Les méthodes de détection traditionnelles produisent souvent des taux élevés de fausses alarmes. Un faux positif se produit lorsqu'un système identifie à tort un événement de routine comme une anomalie, ce qui entraîne des efforts d'enquête inutiles et des retards opérationnels. Cette inefficacité est un problème urgent car elle draine des ressources et détourne l’attention des véritables problèmes qui doivent être résolus. Cet article examine en profondeur une approche spécialisée de la détection des anomalies qui utilise largement les moteurs basés sur des règles. Cette approche améliore la précision de l’identification des violations en croisant plusieurs indicateurs de performance clés (KPI). Non seulement cette approche peut vérifier ou réfuter plus efficacement la présence d’une anomalie, mais elle peut parfois également isoler et identifier la cause profonde du problème.

Présentation de l'architecture du système

Flux de données

Il s'agit d'un flux de données continu pour l'examen du moteur. Chaque point du flux peut être associé à un ou plusieurs KPI utilisés par le moteur de règles pour évaluer son ensemble de règles de formation. Un flux continu de données est essentiel pour une surveillance en temps réel, fournissant au moteur les informations nécessaires à son fonctionnement.

Architecture du moteur de règles

Au cœur du système se trouve le moteur de règles, qui doit être formé pour comprendre les nuances des KPI qu'il surveillera. C’est là qu’un ensemble de règles KPI entre en jeu. Ces règles servent de base algorithmique au moteur et sont conçues pour corréler deux ou plusieurs KPI entre eux.

Types de règles KPI :

1. Qualité des données : règles qui se concentrent sur la cohérence, l'exactitude et la fiabilité du flux de données.
2. Corrélation KPI : règles qui se concentrent sur la corrélation de certains KPI

Processus d'application des règles

Après avoir reçu les données, le moteur recherche immédiatement les écarts ou anomalies dans les KPI entrants. Une anomalie fait ici référence à toute mesure qui se situe en dehors d’une plage acceptable prédéterminée. Le moteur signale ces anomalies pour une enquête plus approfondie, qui peut être divisée en trois opérations principales : accepter, rejeter et affiner. Cela peut impliquer de corréler un KPI avec un autre pour valider ou infirmer une anomalie détectée.

Méthode

Formation de règles

Les étapes de base consistent à créer une série de règles qui relient plusieurs KPI les uns aux autres. Par exemple, une règle peut associer les mesures de qualité d’un produit à la vitesse de production dans une usine. Par exemple :

1. Relation directe entre KPI : Une « relation directe » entre deux KPI signifie que lorsqu'un KPI augmente, l'autre KPI augmente également, ou lorsqu'un KPI diminue, l'autre diminue également. Par exemple, dans un commerce de détail, une augmentation des dépenses publicitaires (KPI1) peut être directement liée à une augmentation du chiffre d'affaires (KPI2). Dans ce cas, une augmentation de l’un des aspects a un impact positif sur l’autre. Ces connaissances sont inestimables pour les entreprises car elles facilitent la planification stratégique et l'allocation des ressources.
2. Relation inverse entre les KPI : En revanche, une « relation inverse » signifie que lorsqu'un KPI augmente, l'autre KPI diminue et vice versa. Par exemple, dans un environnement manufacturier, le temps nécessaire pour fabriquer un produit (KPI1) peut avoir une relation inverse avec la productivité (KPI2). À mesure que le temps de production est réduit, la productivité peut augmenter. Comprendre la relation inverse est également essentiel pour l'optimisation de l'entreprise, car elle peut nécessiter des mesures d'équilibrage pour optimiser les deux KPI.
3. Combinez des KPI pour créer de nouvelles règles : il peut parfois être avantageux de combiner deux ou plusieurs KPI pour créer une nouvelle mesure pouvant fournir des informations précieuses sur les performances de l'entreprise. Par exemple, la combinaison de la valeur à vie du client (KPI1) et du coût d'acquisition client (KPI2) donne un troisième KPI : le rapport valeur/coût du client. Ce nouveau KPI permet de mieux comprendre si le coût d'acquisition d'un nouveau client est proportionnel à la valeur qu'il apporte au fil du temps.

Moteur de règles de formation

Le moteur de règles est entièrement formé pour appliquer efficacement ces règles en temps réel.

Révision en temps réel

Le moteur de règles surveille de manière proactive les données entrantes, en appliquant ses règles entraînées pour identifier les anomalies ou anomalies potentielles.

Prise de décision

En identifiant les anomalies potentielles, le moteur :

1. Acceptation des exceptions : phase de confirmation : une fois qu'une exception est signalée, le moteur la comparera avec d'autres KPI associés à l'aide de ses règles KPI pré-entraînées. Le point ici est de déterminer si l’anomalie est réellement un problème ou simplement une valeur aberrante. Cette confirmation est effectuée sur la base de la corrélation entre les KPI primaires et secondaires.
2. Rejet des exceptions : phase de faux positifs : toutes les exceptions n'indiquent pas un problème ; certaines peuvent être des valeurs aberrantes statistiques ou des erreurs de données. Dans ce cas, le moteur utilise son entraînement pour rejeter l’anomalie, l’identifiant essentiellement comme un faux positif. Ceci est essentiel pour éliminer la fatigue inutile des alertes et concentrer les ressources sur le véritable problème.
3. Réduire la portée de l'anomalie : Phase de raffinement : Parfois, une anomalie peut faire partie d'un problème plus vaste qui affecte plusieurs composants. Ici, le moteur identifie davantage la nature exacte du problème en le limitant à des composants KPI spécifiques. Ce filtrage avancé permet d'identifier rapidement les problèmes et de résoudre les causes profondes.

Avantages

1. Réduire les faux positifs : En utilisant un moteur de règles qui croise plusieurs KPI, le système réduit considérablement l'incidence des faux positifs.
2. Efficacité en termes de temps et de coûts : les anomalies sont détectées et résolues plus rapidement, réduisant ainsi le temps opérationnel et les coûts associés.
3. Précision améliorée : la possibilité de comparer et de contraster plusieurs KPI permet une représentation plus granulaire et précise des événements anormaux.

Conclusion

Cet article décrit une approche de détection des anomalies à l'aide d'un moteur de règles formé sur divers ensembles de règles KPI. Contrairement aux systèmes traditionnels de détection d’anomalies, qui s’appuient souvent uniquement sur des algorithmes statistiques ou des modèles d’apprentissage automatique, cette approche utilise un moteur de règles spécialisé comme pierre angulaire. En approfondissant les relations et les interactions entre les différents KPI, les entreprises peuvent obtenir des informations plus granulaires que des mesures simples et autonomes ne peuvent pas fournir. Cela permet une planification stratégique plus solide, une meilleure gestion des risques et une approche globale plus efficace pour atteindre les objectifs commerciaux. Une fois qu'une anomalie est signalée, le moteur la compare à d'autres KPI associés à l'aide de ses règles KPI pré-entraînées. Le point ici est de déterminer si l’anomalie est réellement un problème ou simplement une valeur aberrante.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!