首頁 >科技週邊 >IT業界 >異常檢測:利用規則引擎最大限度地減少誤報

異常檢測:利用規則引擎最大限度地減少誤報

DDD
DDD原創
2023-09-12 11:03:071790瀏覽

異常是指與預期模式的偏差,可能發生在多種環境中—無論是在銀行交易、工業營運、行銷產業或醫療保健監控中。傳統的檢測方法通常會產生很高的誤報率。誤報是指系統錯誤地將常規事件識別為異常事件,從而導致不必要的調查工作和操作延遲。這種低效率是一個緊迫的問題,因為它會耗盡資源並轉移對需要解決的真正問題的注意力。本文深入研究了一種廣泛使用基於規則的引擎的異常檢測專用方法。此方法透過交叉引用多個關鍵績效指標 ( KPI)來提高識別違規行為的準確性)。這種方法不僅可以更有效地驗證或反駁異常的存在,有時還可以隔離和識別問題的根本原因。

系統架構概述

資料流

#這是引擎審查的連續資料流。該流中的每個點可能與一個或多個 KPI 相關,規則引擎使用這些 KPI 來根據其訓練規則集進行評估。持續的資料流對於即時監控至關重要,為引擎提供了必要的工作資訊。

規則引擎架構

系統的核心是規則引擎,需要對其進行培訓以了解其將監控的 KPI 的細微差別。這就是一組 KPI 規則發揮作用的地方。這些規則充當引擎的演算法基礎,旨在將兩個或多個 KPI 關聯在一起。 

KPI 規則的類型:

  1. #資料品質:專注於資料流的一致性、準確性和可靠性的規則。
  2. KPI 相關性:著重於某些KPI 相關性的規則

規則申請流程

收到資料後,引擎立即尋找傳入KPI 中的偏差或異常​​。這裡的異常是指任何超出預定可接受範圍的指標。引擎標記這些異常以供進一步調查,可分為三個主要操作:接受、拒絕和縮小範圍。這可能涉及將一個 KPI 與另一個 KPI 相關聯,以驗證或否定檢測到的異常。

方法

規則形成

基本步驟涉及建立一系列將多個KPI 相互關聯的規則。例如,規則可能會將產品品質指標與工廠設定中的生產速度相關聯。例如:

  1. KPI 之間的直接關係:兩個KPI 之間的「直接關係」意味著當一個KPI 增加時,另一個KPI 也會增加,或者當一個KPI 減少時,另一個也會減少。例如,在零售業務中,廣告支出 (KPI1) 的增加可能與銷售收入 (KPI2) 的增加直接相關。在這種情況下,其中一個方面的增加會對另一個方面產生正面影響。這些知識對企業來說非常寶貴,因為它有助於策略規劃和資源分配。 
  2. KPI 之間的反向關係:另一方面,「反向關係」是指當一個 KPI 上升時,另一個 KPI 下降,反之亦然。例如,在製造環境中,生產產品所需的時間 (KPI1) 可能與生產效率 (KPI2) 成反比關係。隨著生產時間的減少,生產效率可能會提高。了解逆關係對於業務優化也至關重要,因為它可能需要採取平衡措施來優化兩個 KPI。
  3. 組合 KPI 來製定新規則:有時,組合兩個或多個 KPI 來創建一個新指標可能會有益,該指標可以提供有關業務績效的寶貴見解。例如,將「客戶終身價值」(KPI1) 和「客戶獲取成本」(KPI2) 結合起來可以得出第三個 KPI:「客戶價值與成本比率」。這個新的 KPI 可以更全面地了解獲取新客戶的成本是否與其隨著時間的推移帶來的價值相符。

異常檢測:利用規則引擎最大限度地減少誤報

訓練規則引擎

#規則引擎經過全面的訓練,可以即時有效地應用這些規則。

即時審查

規則引擎主動監控傳入數據,應用其經過訓練的規則來識別異常或潛在異常。

決策

在識別潛在例外時,引擎:

  1. 接受異常:確認階段: 標記異常後,引擎將使用其預先訓練的 KPI 規則將其與其他關聯的 KPI 進行比較。這裡的重點是確定異常是否確實是一個問題或只是異常值。此確認是根據主要 KPI 和次要 KPI 之間的相關性完成的。 
  2. 拒絕異常: 誤訊階段: 並非所有異常都表示有問題;有些可能是統計異常值或資料錯誤。在這種情況下,引擎利用其訓練來拒絕異常,本質上將其識別為誤報。這對於消除不必要的警報疲勞以及將資源集中在真正的問題上至關重要。
  3. 縮小異常範圍:細化階段:有時,異常可能是影響多個元件的更大問題的一部分。在這裡,引擎透過將問題範圍縮小到特定的 KPI 組件,進一步找出問題的確切性質。這種高級過濾有助於快速識別問題並解決根本原因。

優點

  1. #減少誤報:透過使用交叉引用多個KPI的規則引擎,系統大大降低了誤報的發生率。
  2. 時間和成本效率:偵測和解決異常的速度得到提高,從而減少了營運時間和相關成本。
  3. 提高準確性:比較和對比多個 KPI 的能力可以更細緻、更準確地表示異常事件。

結論

本文概述了使用經過各種 KPI 規則集訓練的規則引擎進行異常檢測的方法。與通常僅依賴統計演算法或機器學習模型的傳統異常檢測系統相比,這種方法採用了專門的規則引擎作為其基石。透過更深入研究不同 KPI 之間的關係和交互,企業可以獲得簡單、獨立指標無法提供的更細緻的見解。這可以實現更穩健的策略規劃、更好的風險管理以及實現業務目標的整體更有效的方法。一旦異常被標記,引擎就會使用其預先訓練的 KPI 規則將其與其他關聯的 KPI 進行比較。這裡的重點是確定異常是否確實是一個問題或只是異常值。

以上是異常檢測:利用規則引擎最大限度地減少誤報的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn