NetEase는 비정상적인 데이터 표시기를 어떻게 감지하고 진단합니까?

1. 배경 소개

지표는 비즈니스와 밀접한 관련이 있으며, 그 가치는 문제를 발견하고 하이라이트를 발견하여 적시에 문제를 해결하고 하이라이트를 홍보하는 데 있습니다. 전자 상거래 비즈니스가 더욱 발전함에 따라 비즈니스 반복이 빠르고 논리가 복잡하며 지표 수가 증가하고 지표 간의 차이가 매우 크고 변화가 매우 빠릅니다. 시스템의 비정상적인 지표를 확인하고 문제의 근본 원인을 찾는 것이 비즈니스에 중요합니다. 경보 임계값을 수동으로 설정하면 누락이 쉽게 발생할 수 있으며 시간과 비용이 많이 듭니다. 우리는 다음 목표를 달성할 수 있는 자동화된 방법 세트를 구축하기를 희망합니다.

• 자동화는 사용자 입력에 의존할 필요가 없습니다. 기존 방법에서는 예외 규칙, 속성 차원 등을 정의하고 수동 사용자 입력이 필요합니다. 자동화 시스템에서는 더 이상 필요하지 않습니다.
• 다양성: 다양한 지표 분포에 적응할 수 있으며 다양한 지표가 다양한 방법과 일치합니다.
• 적시성: 일별 및 시간별 지표 이상 탐지 및 속성을 달성합니다.
• 정확성과 주도성: 데이터를 통해 사람을 찾는 목표를 달성합니다.

다음으로는 각각 지표 이상 탐지와 지표 이상 진단에 대해 소개하겠습니다.

2. 지표 이상 탐지

1. 이상 현상이란 무엇입니까

데이터 과학 작업의 첫 번째 단계는 문제를 정의하는 것입니다. 이상에 대한 우리의 정의는 데이터 지표의 이상입니다. 너무 높거나 낮은 지표, 상승 및 하락은 비정상이며 조기 경고 및 진단이 필요합니다. 지표 이상치는 다음과 같은 3가지 유형으로 나누어집니다.

• 절대값 이상

은 지표의 고유한 분포를 따르지 않는 통계상의 이상치를 의미합니다. 사업.

• 비정상적인 변동

전월 대비 과도한 급격한 증가 또는 감소 포인트는 비즈니스의 급격한 변화를 반영합니다.

• 추세 이상 현상

처음 두 이상 현상은 단일 지점, 단기적, 격렬한 반면 일부 이상 현상은 상대적으로 숨겨져 있으며 중장기적으로 결정적인 상승 또는 하락 추세를 보여줍니다. 이는 잠재적인 위험을 나타내는 경우가 많기 때문에 추세 이상을 감지하고 비즈니스 경고를 수행하며 사전에 개입해야 합니다.

이 세 가지 이상 현상은 서로 독립적이며 다양한 시나리오가 다양한 유형의 이상 현상에 해당할 수 있습니다.

예를 들어 위 그림의 A 지점은 절대값 이상과 변동성 이상을 모두 가지고 있습니다. B 지점은 전날과 크게 변하지 않았기 때문에 절대값 이상만 보고합니다. C점과 D점 모두 변동 이상만을 보고하고 있으나, C점에서 지표가 급락한 이유는 B점에서 발생하는데, 이는 지표의 정상적인 하락을 통해 해결되어야 합니다. -처리 논리.

2. 지표 이상 탐지 프레임워크

지표 탐지의 다양성, 자동화 및 적시성을 달성하기 위해 우리는 통계 테스트를 기반으로 비지도 탐지 프레임워크를 설계했습니다.

• 절대값 이상 탐지

절대값 탐지는 주로 GESD 테스트 알고리즘을 기반으로 통계를 계산하여 이상점을 찾아내는 것을 원칙으로 합니다. 프로세스는 다음과 같습니다.

데이터 세트에 최대 r개의 이상값이 있다고 가정합니다. 첫 번째 단계는 평균에서 가장 큰 거리에 있는 표본 i를 찾은 다음 x_i의 절대값에서 평균을 뺀 값을 표준편차로 나눈 통계량 R_i을 계산하는 것입니다. 다음으로 해당 샘플 포인트 i의 임계값 λ_i를 계산합니다. 여기서 n은 전체 샘플 크기, i는 제거된 샘플, t는 자유도가 n-i-1인 t 분포의 p입니다. p는 설정된 신뢰도 α(일반적으로 α 값은 0.05) 및 현재 표본 크기와 관련이 있습니다.

두 번째 단계는 평균에서 가장 큰 거리에 있는 표본 i를 제거한 다음 위 단계를 총 r회 반복하는 것입니다.

세 번째 단계는 통계 R_i이 λ_i보다 큰 샘플을 찾는 것입니다. 이는 비정상 지점입니다.

이 방법의 장점은 다음과 같습니다. 첫째, 이상치 수를 지정할 필요가 없으며, 예외의 상한선만 설정하면 됩니다. 두 번째로, 알고리즘이 자동으로 비정상적인 지점을 포착합니다. 3Sigma의 낮은 검출률(1% 미만)을 극복하고 매우 극단적인 비정상 문제만 검출할 수 있습니다.

GESD 알고리즘에서는 탐지율의 상한을 조절하여 적응이 가능하지만, 이 방법의 전제는 입력 지표가 정규 분포를 가져야 한다는 것입니다. 현재 우리가 관찰하는 대부분의 전자상거래 비즈니스 지표는 정규 분포를 따릅니다. 물론, 비정규 분포를 보이는 개별 비즈니스 지표(

• 변동성 이상 탐지

두 번째 유형은 변동성 이상 탐지로, 주로 변동성 분포를 기반으로 분포의 변곡점을 계산합니다. 위의 방법은 여기서 변동성 분포에 직접 적용할 수 없습니다. 주로 지표 변동성의 대부분이 정규 분포를 따르지 않아 적용할 수 없기 때문입니다. 변곡점을 찾는 원리는 2차 도함수와 거리를 기준으로 곡선의 최대 굽힘점을 찾는 것입니다. 변동성이 증가하는 부분은 0보다 크고 변동성이 감소하는 부분은 0보다 작습니다. y축 양쪽에서 0보다 크고 0보다 작은 부분에 대해서는 변동성이 초과하는 경우 각각 두 개의 변동성 변곡점을 찾아야 합니다. 변곡점의 범위에서는 비정상적인 변동으로 간주됩니다. 그러나 어떤 경우에는 변곡점이 존재하지 않거나, 변곡점이 너무 일찍 나타나 탐지율이 너무 높아지는 경우가 있으므로 이를 알아내기 위해서는 분위수 등 다른 방법도 필요합니다. 한 가지 검사 방법은 만병통치약이 아니므로 병용해야 합니다.

• 추세 이상 탐지

세 번째 유형은 Man-Kendall 테스트를 기반으로 한 추세 이상 탐지입니다. 먼저 통계 S를 계산합니다. 여기서 sgn은 표시 시퀀스 전후 값의 상대적인 크기 관계에 따라 -1, 1, 0과 같은 세 가지 매핑 값을 얻을 수 있습니다. 쌍으로 짝을 지어서. 통계 S를 표준화하면 Z를 얻게 되며, 이는 테이블을 찾아 p-값으로 변환할 수 있습니다. 통계적으로는 p값이 0.05보다 작을 때 유의미한 경향이 있는 것으로 간주합니다.

첫 번째 장점은 모든 분포에 적용할 수 있는 비모수적 검정이므로 철저한 방법이 필요하지 않다는 점입니다. 두 번째 장점은 추세 이상을 탐지할 때 절대값이 비정상인 샘플을 미리 제거해야 하기 때문에 지표 시퀀스가 ​​연속적이지 않아도 되므로 대부분의 지표 시퀀스가 ​​연속적이지 않지만 이 방법은 불연속적인 지표를 지원할 수 있다는 것입니다. .

• 이상 탐지 후처리

3가지 예외가 완료된 후 후처리 작업이 필요합니다. 주로 불필요한 알람을 줄이고 업무 중단을 줄이는 것이 목적입니다.

첫 번째 유형은 데이터 이상입니다. 이 데이터 이상이 데이터 소스가 잘못되었다는 의미는 아닙니다. 데이터 소스가 데이터 웨어하우스 수준에 있고 데이터 웨어하우스 팀에서 보장하기 때문입니다. 여기서 데이터 이상은 이전 주기의 이상으로 인해 현재 주기의 비정상적인 변동을 의미합니다. 예를 들어 지표가 어제 100% 상승하고 오늘 50% 하락한 경우를 기준으로 제거해야 합니다. 제거 조건 즉, (1) 이전 주기에 변동 또는 절대값 이상이 있었습니다. (2) 이번 주기의 변동이 정상으로 돌아오고 있습니다. 즉, 변동은 있지만 같은 방향으로 절대값 이상이 없는 것입니다. 변동으로. 예를 들어 어제 100% 상승했고 오늘 50% 하락했다면 후처리 모듈은 이를 필터링하지만, 99% 하락했다면 여전히 절대값 이상이 발생하고 경고가 필요합니다. . 이러한 방식으로 우리는 전체적으로 변동 이상 현상을 40% 이상 제거했습니다.

두 번째 사후 처리는 S급 프로모션을 위한 정보 협업을 기반으로 합니다. 이러한 프로모션에서는 매 시간마다 비정상적인 지표가 발생할 수 있으므로, 이를 신고할 필요는 없습니다.

3. 지표 이상 진단

1. 지표 이상 진단의 수준 구분

추론은 가능한 영역과 결론의 확실성에 따라 결정론적 추론, 가능성 추론, 추측의 세 가지 수준으로 나눌 수 있습니다. 성적 추론.

2. 지표 이상 진단 방법 비교

추론 수준이 다르면 진단 방법도 다릅니다.

추론적 추론, 결론은 주로 인간의 경험에 의존하고, 결론은 상대적으로 불분명하고, 작동 가능한 공간은 제한되어 있으며, 이 기사의 방법 논의 범위에 포함되지 않습니다.

가능성 추론, (1)은 기계 학습을 기반으로 지표 데이터를 맞추고 회귀 예측을 하며 특징의 중요도를 계산할 수 있습니다. 이 방법의 단점은 단일 이상 현상의 원인을 설명할 수 없다는 것입니다. (2) 단일 이상 현상을 설명하려면 각 예측 값과 각 입력 특성이 대상에 미치는 기여도를 계산할 수 있는 Shap Value 알고리즘을 추가해야 합니다. 이 방법은 어느 정도 해석력은 있지만 충분히 정확하지 않고, 인과관계는 도출할 수 없고 상관관계만 도출할 수 있습니다. (3) 베이지안 네트워크는 지표 간 관계의 그래프와 네트워크를 구축하는데 사용될 수 있으나, 계산이 상대적으로 복잡하고 블랙박스라는 단점이 있다.

결정론적 추론은 주로 디스어셈블리 기여 알고리즘을 기반으로 합니다. 덧셈, 곱셈, 나눗셈 등 분해기여도 알고리즘은 분해방식에 따라 각 부분의 지표나 구조의 변화가 전체에 미치는 영향을 측정한다. 장점은 상대적으로 결정적이며 화이트박스로 구성되어 있고 적응성이 뛰어나며 이상 현상의 위치를 ​​정확하게 찾을 수 있다는 것입니다. 그러나 동일한 지표에 대해 분해할 수 있는 차원이 많아 결합된 차원이 폭발하는 문제가 발생하는 자연스러운 단점도 있습니다.

3. 비즈니스 현황

데이터 과학의 많은 문제는 실제 비즈니스 시나리오를 기반으로 해당 방법을 선택해야 합니다. 따라서 우리의 접근 방식을 소개하기 전에 현재 비즈니스 상황을 소개하겠습니다.

우리는 플랫폼 전자상거래의 성장이 트래픽 유지와 유료 전환에 의해 주도된다는 것을 알고 있습니다. 인구통계학적 배당금이 최고조에 달하고 트래픽 확보가 점점 어려워짐에 따라 NetEase Yanxuan은 전략적 업그레이드를 수행하여 플랫폼 전자상거래에서 브랜드 전자상거래로 전환하고 JD.com 및 Taobao와 같은 플랫폼 전자상거래 기업을 브랜드로 전환했습니다. 파트너.

브랜드 전자상거래의 성장주도적 방식은 옴니채널 협업을 통해 폭발적인 제품으로 돌파하고, 스타 카테고리를 만들어 브랜드를 확립하는 것입니다. 예를 들어, 저희 앱을 통해 반드시 NetEase Yanxuan을 알 수는 없지만 Taobao 및 JD.com에서 일부 제품을 구매함으로써 저희 브랜드에 대해 배울 수 있습니다. NetEase Yanxuan의 성장 관점은 사용자 확보, 유지 및 결제에 초점을 맞추는 것에서 인기 있는 제품 창출과 채널의 획기적인 성장에 초점을 맞추는 것으로 전환되었습니다.

브랜드 전자상거래의 지표 분류는 전략적 수준, 전술적 수준, 실행 수준으로 나눌 수 있습니다. 전략적 계층은 첫 번째 수준 지표인 북극성 지표에 해당합니다. 예를 들어, 시장의 GMV는 목표 달성을 측정하고 회사의 전략적 결정을 제공합니다. 전술적 계층은 2차 지표에 해당하며, 1차 지표를 모든 계층의 부서 및 사업 부문으로 분할하여 프로세스 관리를 수행합니다. 실행 계층은 3차 지표에 해당하며, 2차 지표를 제품 카테고리와 모든 계층의 담당자로 세분화하고 서비스를 세부적으로 구현한다.

브랜드 전자상거래의 현재 지수 등급 방법과 부서, 사람, 제품을 찾아야 하는 필요성을 기반으로 우리의 알고리즘은 결정적이고 해석 가능하며 화이트박스 처리되어야 합니다. 따라서 우리는 지표의 각 레이어와 각 부분이 전체 영향에 미치는 영향을 계산하기 위해 앞서 언급한 디스어셈블리 기여 방식인 디스어셈블리 기반 방식을 채택했습니다.

4. 기여도 계산 방법

공헌도를 계산하는 방법에는 덧셈, 곱셈, 나눗셈 세 가지가 있습니다.

분해 방법은 위 사진과 같습니다. Y는 시장의 GMV 등 해체대상 지표이고, 당기지표인 X_i0는 이전기간의 원래값을 나타낸다. 덧셈의 분해 공식은 이해하기 쉽습니다. 각 차원 값 ΔXⁱ의 변화 값을 전체 원래 값 Y0

으로 나눈 값입니다.

곱셈 분해는 LMDI(대수 평균 지수 방법) 곱 인자 분해 방법을 채택합니다. 양쪽에 동시에 로그 ln을 취하면 덧셈 형태를 얻을 수 있으며, 위의 방법에 따라 각 요인의 기여도를 얻을 수 있습니다. 치수 값의 전후 비율이 클수록 기여도도 커집니다.

분할 방식은 2요소 분해 방식을 채택합니다. 즉, 전체에 대한 각 부분과 각 차원 값의 기여도가 2요소로 구성됩니다. 첫 번째 요소는 A_Xi로 대표되는 변동 기여도이고, 두 번째 요소는 구조 변화 기여도 B_Xi, 즉 각 부분의 구조 변화 기여도입니다. 예를 들어, 각 사업부의 매출총이익은 증가했지만 회사 전체의 매출총이익은 감소했습니다. 그 이유는 마진이 낮은 특정 부서의 매출 비중이 높아져 전체를 끌어내리기 때문일 가능성이 크다. 이것이 우리가 익히 알고 있는 심슨의 역설이다. 분할 분해 알고리즘에서는 B_Xi의 구조 변화 기여도를 도입하여 이 문제를 해결할 수 있습니다.

기여의 매우 중요한 특징은 가산성인데, 이는 반복 없음 및 누출 없음이라는 MECE 원칙을 충족합니다. 분해 방법에 관계없이 특정 분해 차원 아래의 모든 차원 값 기여도 C_Xi를 더하면 전체 변화율 ΔY%를 얻을 수 있습니다.

5. 지표 분해의 차원 폭발 문제

매출액이나 총 이익 등 특정 1차 지표의 이상 원인을 분해한다고 가정해 보겠습니다. 분할 차원은 판매 채널 또는 지방일 수 있으며, 도시와 지역은 제품 카테고리, 신규 및 기존 고객 등을 기반으로 할 수도 있습니다. n개의 분할 차원이 있다고 가정하면 n 차원에 해당하는 중간 테이블을 생성한 다음 각 차원 아래의 각 차원 값 X_i에 대한 표시기 변화를 계산하여 기여도를 구해야 합니다.

표시 이상 현상의 원인을 정확히 찾기 위해서는 한 차원만 분해하면 해당 차원의 결론만 얻을 수 있어 정확한 문제를 찾아낼 수 없다는 것이 문제입니다. 세분화된 차원이 너무 세밀한 경우(예: 모든 차원을 합친 경우) 각 항목의 기여도가 너무 작아서 주된 원인을 파악할 수 없습니다. 따라서 여기서는 다양한 차원 조합에서 원하는 결론을 검색하면서 철저하게 드릴다운해야 합니다.

현재 n개의 분할 차원이 있다고 가정하면 먼저 2ⁿ개의 중간 테이블을 설정해야 합니다. 중간 테이블을 설정하는 과정에서 구경이 일관되고 데이터 웨어하우스를 충족하는지 확인해야 합니다. 사양이 매우 큽니다. 이러한 중간 테이블이 구축된 후 디스어셈블리 알고리즘의 API를 호출하여 해당 기여도를 계산합니다. 이로 인해 계산 및 저장 공간 소모가 매우 커집니다. 즉, 차원 폭발 문제가 발생합니다.

6. 표시기 분해 시 치수 폭발 문제 최적화

차원 폭발 문제를 해결하기 위해 구현 계획에 다음과 같은 최적화가 이루어졌습니다.

최적화 1: 변환 차원을 기여도 기반으로 분해하는 과정입니다. 이전 글에서 언급했듯이 기여도는 가산적이기 때문에 먼저 알고리즘을 호출하여 가장 세밀한 최종 지표의 기여도를 계산한 후 어떤 차원의 기여도가 필요한지 그룹화하는 데 사용합니다. 기여도를 합산하는 조건입니다. 이는 중간 테이블의 IO 프로세스를 생략할 수 있으며 하나의 알고리즘 호출만 필요합니다. 클러스터에서 합계 작업을 수행하는 것은 표시기 분해 알고리즘을 호출하는 것보다 훨씬 빠릅니다.

위는 1차 지표에 대한 이상 진단입니다. 실제 업무에서는 2차 지표에 대한 진단도 필요합니다. 이 방법은 기여도를 한 번 더 정규화하면 되며 반복 계산이 필요하지 않습니다. 1차 지표와 2차 지표에 대해 이상 진단을 동시에 수행할 수 있습니다.

계산 효율성 문제는 해결되었지만 여전히 문제가 있습니다. 즉, 결과의 공간 복잡도가 매우 커서 에 도달합니다. k를 각 차원의 차원값의 평균 개수라고 가정하면, 1차원 해체공간+ 2차원 해체공간 + 3차원 해체공간 + n차원 해체공간 = .

최적화 2: 실제 비즈니스 요구에 따라 가지치기를 구현하기 위해 차원 조합을 제한하여 결과의 ​​공간 복잡도를 에서

picture

으로 줄입니다. 구체적으로 두 가지 작업이 포함됩니다. 첫 번째는 차원을 그룹화하는 것입니다. 1차 수준 채널, 2차 수준 채널 등 자연적인 계층 관계가 있는 차원의 경우 2차 수준 채널로 분할하면 1차 수준 채널 정보는 다음과 같습니다. 이미 사용 가능하므로 필요하지 않습니다. 1차 수준 채널과 2차 수준 채널의 중복 조합을 만들려면 그룹 전체에서 차원을 결합하기만 하면 됩니다. 두 번째는 차원 조합 수를 제한하는 것입니다. 왜냐하면 귀인진단 분석 시 실제 비즈니스에서는 특별히 복잡한 차원에 주의를 기울이지 않기 때문입니다. 일반적으로 2~3개 차원의 조합이면 충분합니다.

최적화 3: 차원 지니 계수 정렬을 기반으로 최적의 차원을 결정하고 비정상적으로 정확한 위치 지정을 달성합니다. 가지치기 후 여러 분할 각도와 해당 차원 값 기여도를 통해 어떻게 그 중에서 가장 좋은 것을 선택하고 주요 이유를 찾을 수 있습니까? 직관적인 생각은 특정 차원의 세분성이 더 세밀하고 헤드의 상위 차원 값의 기여도가 클수록 지표 이상 현상의 주요 원인일 가능성이 높다는 것입니다. 지니 계수는 이 시나리오에 더 적합한 측정 방법입니다. 각 부품의 기여도에서 1을 뺀 값이 작을수록 분할 차원이 더 합리적입니다.

위 그림의 오른쪽은 특정 매출 이상에 대한 예입니다. 첫 번째 방법은 각 제품의 기여도가 너무 작기 때문에 지니 계수가 매우 큽니다. 두 번째 방법은 입도(granularity)에 따라 2차 채널을 해체하는 방법으로, 입도(granularity)가 상대적으로 거칠어 계산된 지니계수가 상대적으로 큰 값을 가질 수 있다. 세 번째 방법은 1차 산업에 2차 채널을 곱한 값을 기준으로 계산되는데, 2차 채널이 한 단계 더 드릴다운되어 일부는 긍정적인 기여를 하고 일부는 더 작아지기 때문입니다. 부분은 부정적인 기여를 합니다. 긍정적인 기여는 지표의 변동에 긍정적인 영향을 미치는 부분이고, 부정적인 기여는 부정적인 영향을 미치는 부분입니다. 이 예에서는 분할 차원 산업 1이 60%의 기여도로 채널 1을 교차하는 것을 볼 수 있으며, 이는 주요 원인으로 분류되어 우리의 이해와 더 일치합니다. 따라서 지니계수를 통해 보다 합리적인 분할 차원과 지표 이상 현상의 주요 원인을 찾을 수 있다.

4. QA

Q1: 진단의 정확성을 평가하는 데 사용되는 지표는 무엇인가요?

A1: 결정론적 진단을 사용하기 때문에 결론은 매우 명확합니다. 순수 지표의 관점에서 보면, 코드를 계산하고 작성함으로써 정확성이 보장됩니다. 예를 들어, 비즈니스 이해의 관점에서 보면 이러한 예외는 특정 비즈니스가 정상적으로 운영되고 있기 때문이거나, 다른 이유로 인해 긍정 오류 또는 부정 오류가 발생하는 경우에 해당합니다.

Q2: 공헌도 해체가 혼용되나요? 예를 들어 GMV를 해체할 때 처음에는 채널을 해체하기 위해 덧셈을 사용하고 나중에 다른 해체 방법을 사용하는 순서를 어떻게 판단합니까?

A2: 이것은 매우 실용적인 질문입니다. 우선 덧셈과 곱셈을 혼합하는 아이디어를 활용하면 각 단계의 TOP 차원 값에 해당하는 기여도와 다음 단계의 분해 후 기여도를 검색하고 계산할 수 있습니다. 단계를 거쳐 기여도 감소에 따라 이를 결정합니다. 다음 단계는 이를 덧셈 또는 곱셈으로 분해하는 것입니다.

또 다른 사고방식은 먼저 특정 방향을 따르는 것입니다. 예를 들어 전자상거래 GMV의 경우 추가를 통해 먼저 해체하고, 계속해서 해체하고, 특정 제품과 같은 최하위 수준으로 해체하고, 그런 다음 이 제품을 해체합니다. 곱셈 분석을 수행하여 이 제품의 GMV가 감소한 이유, 트래픽이 감소했는지 또는 전환율이 감소했는지 등을 알아냅니다. 구체적인 접근 방식은 적시성, 개발 비용 등의 고려 사항은 물론 다양한 실제 비즈니스 요구 사항과 결합되어야 합니다.

NetEase Yanxuan의 현재 시나리오에서는 브랜드 전자상거래로서 다양성과 비즈니스 상태를 고려할 때 외부 채널을 통해 판매할 때 트래픽 및 전환율과 같은 요소가 우리에게 블랙박스이므로 In 비즈니스에서는 시나리오, 추가 및 분해가 주요 초점입니다.

위 내용은 NetEase는 비정상적인 데이터 표시기를 어떻게 감지하고 진단합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!