CMU Zhang Kun: 인과관계 표현 기술의 최신 발전

1. 인과관계에 관심을 갖는 이유

우선 인과관계가 무엇인지 소개하겠습니다.

변수/사건이 연관되어 있다는 것은 독립적이지 않다는 뜻입니다. 독립적인 관계가 있어야 합니다. 그러나 X가 Y의 '원인'이라는 의미는 X(비가 온다)를 변화시키기 위해 특정한 방법을 사용하면 그에 따라 Y(땅이 젖는다)도 변화한다는 것, 즉 인간의 '개입'이 개입될 때 Different에서 수행되었습니다. 여기서의 개입은 무작위가 아니라 대상 변수를 매우 정밀하게 직접 제어하는 ​​것입니다("비가 내립니다"를 직접 변경함). 이 변경은 시스템의 다른 변수에 직접적인 영향을 미치지 않습니다. 동시에 이러한 방식, 즉 인간의 직접적인 개입을 통해 한 변수가 다른 변수의 직접적인 원인인지 여부도 확인할 수 있습니다.

인과관계 분석의 필요성에 대한 예는 다음과 같습니다.

① 전형적인 사례는 흡연을 통해 폐질환과 손톱 색깔 사이에 어느 정도 관계가 있다는 것입니다. 즉, 담배에는 필터가 없기 때문에 정기적입니다. 흡연은 손톱을 유발합니다. 황변, 흡연은 폐 질환을 유발할 수도 있습니다. 특정 부위의 폐질환 발병률을 바꾸고 싶다면 손톱을 탈색한다고 해서 개선될 수는 없다. 폐질환의 의존성을 바꾸는 것이 아니라 폐질환의 원인을 찾아야 한다. 폐질환 발생률을 변화시킨다는 목표를 달성하기 위해서는 인과관계 분석이 필요하다.

② 두 번째 사례는 심슨의 역설입니다. 위 그림의 오른쪽은 실제 데이터 세트입니다. 데이터 세트는 두 세트의 신장 결석을 보여줍니다. 한 그룹에는 더 작은 결석이 있고 다른 그룹에는 더 큰 결석이 있습니다. 또한 두 가지 치료 방법 A와 B가 있습니다. 표에서 알 수 있듯이 작은 결석 그룹과 큰 결석 그룹에 관계없이 치료 방법 A의 결과가 각각 93%와 73%의 치료율로 더 좋으며 치료 방법 B의 치료율은 다음과 같습니다. 각각 87%와 69%입니다. 그러나 동일한 치료 방법을 사용하는 두 그룹의 결석 환자를 혼합한 경우 치료 플랜 B(83%)의 전체 효과가 치료 플랜 A(78%)보다 더 좋았습니다. 당신이 치료율, 즉 새로운 환자를 위한 치료 계획을 선택하는 방법에만 관심이 있는 의사라고 가정해 보겠습니다. 그 이유는 권고사항을 작성할 때 치료와 완치 사이의 인과관계에만 관심을 두고 다른 의존성은 고려하지 않기 때문입니다. 그러나 결석의 크기는 치료방법과 치료 여부에 공통적인 요소로, 이는 치료방법과 치료에 따른 의존도에 정량적인 변화를 가져온다. 따라서 치료방법과 완치의 관계를 연구할 때에는 의존관계보다는 전자와 후자의 인과관계를 논의해야 한다.

3 세 번째 사례: 50년 전 통계에 따르면 대학에 다니는 여성은 평균적으로 남성보다 똑똑했지만 실제로는 큰 차이가 없어야 합니다. 여성이 남성보다 대학 진학이 더 어렵기 때문에 선택 편향이 있습니다. 즉, 학교에서 학생을 모집할 때 성별, 시험 능력 등의 요인에 의해 영향을 받게 됩니다. "결과"가 발생하면 성별과 시험 능력 사이에 어느 정도 관계가 있게 됩니다. 선택 편향의 문제는 인터넷에서 수집한 데이터를 사용할 때도 존재합니다. 데이터 포인트의 수집 여부와 특정 속성 사이에는 관계가 있는 경우가 많습니다. 인터넷에 있는 데이터만 분석하는 경우 이러한 요소에 주의를 기울여야 합니다. 이것이 실현되면 선택편향이 있는 데이터도 인과관계를 통해 분석할 수 있고, 이를 통해 집단 전체의 성격을 복원하거나 추론할 수 있다.

위 그림은 여러 머신러닝/딥러닝 문제를 보여줍니다.

① 우리는 최선의 예측과 데이터 분포 사이에 관계가 있다는 것을 알고 있습니다. 예를 들어 전이 학습에서 모델을 아프리카에서 아메리카 대륙으로 이전하고 여전히 최적의 예측을 하려면 분명히 다양한 데이터 분포를 기반으로 모델을 적응형으로 조정해야 합니다. 이때 데이터의 분포에 어떤 변화가 일어났는지, 어떻게 변화했는지 분석하는 것이 특히 중요하다. 데이터의 변경 사항을 알면 그에 따라 모델을 조정할 수 있습니다. 또 다른 예로, 질병을 진단하기 위해 AI 모델을 구축할 때, 기계가 제안한 진단 결과에 만족하지 못할 것이며, 어떤 돌연변이가 질병을 일으켰는지 등 기계가 왜 이런 결론을 내렸는지 알고 싶을 것입니다. 또한, 질병을 치료하는 방법은 많은 "이유"에 대한 질문을 제기합니다. 마찬가지로 추천 시스템이 추천을 할 때 이 아이템/전략을 추천하는 이유를 알고 싶을 것입니다. 예를 들어 회사는 단지 수익을 늘리고 싶거나 아이템/전략이 사용자에게 적합하거나 아이템/전략이 미래에 유익합니다. 이러한 "왜" 질문은 모두 원인과 결과에 대한 질문입니다.

② 딥러닝 분야에는 적대적 공격이라는 개념이 있습니다. 그림에서 볼 수 있듯이 왼쪽의 자이언트 판다 사진에 특정 노이즈를 추가하거나 특정 픽셀을 변경하는 등의 경우 기계는 사진을 자이언트 판다가 아닌 다른 유형의 동물로 판단하며 신뢰 수준은 다음과 같습니다. 여전히 매우 높습니다. 그러나 인간에게는 이 두 그림이 분명히 자이언트 판다로 보입니다. 이는 현재 기계가 이미지에서 학습한 고급 기능이 인간이 학습한 고급 기능과 일치하지 않기 때문입니다. 기계가 사용하는 고급 기능이 인간의 기능과 일치하지 않으면 적대적인 공격이 발생할 수 있습니다. 입력이 바뀌면 인간이나 기계의 판단도 바뀌게 되어 최종 판단 결과에 문제가 생기게 됩니다. 기계가 인간과 일치하는 높은 수준의 기능, 즉 기계가 인간과 동일한 방식으로 기능을 학습하고 사용할 수 있도록 허용해야만 적대적인 공격을 피할 수 있습니다.

왜 인과적 표현을 해야 할까요?

① 다운스트림 작업 이점: 예를 들어 다운스트림 분류 및 기타 작업을 더 잘 수행하는 데 도움이 될 수 있습니다.

② '왜'라는 질문을 설명할 수 있습니다.

3 데이터 이면의 실제 인과적 특성 회복: 칸트의 철학 형이상학은 인간이 경험하는 세계가 경험적 세계라고 믿습니다. 그것은 그 뒤에 있는 세계 자체에 기반을 두고 있지만, 우리는 세계 존재론을 직접적으로 인식할 수 없습니다. 시간, 공간, 인과적 질서 등과 같은 일부 속성은 감각 시스템에 의해 자동으로 경험 세계에 추가됩니다. 따라서 기계가 인간과 일치하는 특성을 학습하기를 원한다면 인과적 질서/관계, 시간, 공간 등의 특성을 학습할 수 있는 능력을 갖춘 기계가 필요합니다.

2. 인과적 표현 학습: 독립적이고 동일하게 분포된 상황

1. 인과적 표현 학습의 기본 개념

독립적이고 동일하게 분포된 상황에서 인과관계를 학습하는 방법은 무엇인가요? 먼저, 두 가지 질문에 답해야 합니다. 첫째, 데이터의 어떤 속성이 인과성과 관련되어 있는지, 그리고 데이터에 어떤 단서("발자국")가 있는지입니다. 두 번째는 자료를 확보하는 조건에서 인과관계를 회복할 수 있는지, 즉 인과체계의 식별가능성의 문제이다.

인과 시스템의 가장 필수적인 속성은 "모듈성"입니다. 시스템의 변수는 특정 관계를 가지고 있지만 시스템은 인과 관계에 따라 여러 하위 시스템으로 나눌 수 있습니다(하나의 원인은 하나의 종속 변수를 생성합니다). 예를 들어, "비가 온다", "땅이 젖어 있다", "땅이 미끄러워요"는 상호 의존적이며 인과 관계에 따라 "어떤 이유 때문에 비가 내린다", "비가 내린다"의 세 가지 하위 시스템으로 나눌 수 있습니다. 땅이 젖게 만든다" , "습한 땅은 땅을 미끄럽게 만든다." 변수 간에는 종속성이 있지만 이 세 프로세스(하위 시스템)는 연결되어 있지 않으며 매개변수 공유도 없으며 한 시스템의 변경으로 인해 다른 시스템의 변경이 발생하지 않습니다. 예를 들어, "습한 땅이 미끄러운 땅"의 효과를 변경하기 위해 특정 물질을 뿌리면 비가 오는지 여부에 영향을 미치지 않으며 비가 젖은 땅에 미치는 영향도 변경되지 않습니다. 이러한 속성을 "모듈성"이라고 하는데, 이는 인과적 관점에서 시스템이 서로 다른 하위 모듈로 나누어져 있고 하위 모듈 간에 연결이 없음을 의미합니다.

모듈화에서 시작하여 인과 체계의 세 가지 속성을 얻을 수 있습니다.

① 변수 간의 조건부 독립.

② 독립적인 소음 조건.

3 최소한의(그리고 독립적인) 변경.

인과관계의 식별 가능성과 관련하여 일반적으로 머신러닝 자체는 식별 가능성의 문제에 크게 관심을 기울이지 않습니다. 예를 들어 예측 모델은 예측 결과가 정확한지 최적인지 판단해야 하지만 '진실'은 없습니다. "라고 판단합니다. 하지만 인과분석/인과표상 학습은 데이터의 '진실'을 복원하는 것, 즉 데이터 이면의 인과관계를 파악할 수 있는지에 더 많은 관심을 기울이는 것입니다.

아래 두 가지 기본 개념을 소개합니다.

① 인과 발견: 데이터를 통해 근본적인 인과 구조/모델을 탐색합니다.

② 인과적 표현 학습: 직접 관찰한 데이터에서 기본이 되는 상위 숨은 변수와 변수 간의 관계를 찾아냅니다.

2. 인과적 표현 학습의 구분

인과적 표현 학습 방법은 일반적으로 다음 세 가지 관점으로 구분됩니다.

① 데이터 속성: 독립적이고 동일하게 분포되어 있는지("i.i.d. 데이터"). 비독립적이고 동일하게 분포된 데이터에는 시간 의존성이 있는 동일하게 분포된 데이터(예: 시계열 데이터) 또는 독립적이지만 다르게 분포된 데이터(예: 데이터 분포 변경(또는 이 두 가지 조합))와 같이 비독립적이지만 동일하게 분포된 데이터가 포함됩니다. 그것들의).

② 매개변수 제약조건("매개변수 제약조건"): 인과관계에 영향을 미치는 매개변수 모델과 같은 다른 추가 속성이 있는지 여부.

3 잠재적 교란 요인(“잠재 교란 요인”): 시스템에서 관찰되지 않은 공통 요인 또는 교란 요인의 존재를 허용할지 여부.

다음 그림은 다양한 설정에서 얻을 수 있는 구체적인 결과를 자세히 보여줍니다.

예를 들어, 독립 및 동일 분포의 경우 모수 모델 제약 조건이 없으면 잠재력 여부에 관계없이 일반적으로 원자가 클래스("동등 클래스")를 얻을 수 있으며, 매개변수 모델 제약 조건이 있는 경우 일반적으로 그 뒤에 있는 진실을 직접 복원할 수 있습니다.

3. 독립적이고 동일하게 분포된 인과 표현 학습

위 그림은 독립적이고 동일하게 분포된 사례에서 매개변수 모델 제약이 없는 예를 보여줍니다. 데이터에는 두개골 250개에 대해 성별, 위치, 날씨, 두개골 크기 및 모양 등 총 8개의 측정 변수가 표시됩니다. 고고학자들은 지역마다 사람들의 외모가 달라지는 원인이 무엇인지 알고 싶어합니다. 이러한 인과 관계를 알면 환경의 변화와 기타 요인을 통해 사람들의 외모를 예측할 수 있을 것입니다. 당연히 이러한 조건에서는 인간의 개입이 불가능하고, 개입을 추가하더라도 결과를 관찰하는 데 오랜 시간이 걸리기 때문에 인과관계는 기존 관찰 데이터에서만 찾을 수 있다.

위 그림에서 볼 수 있듯이 변수 간의 관계는 매우 복잡하여 선형이거나 비선형일 수 있으며 변수 차원도 불일치할 수 있습니다. 성별이 1차원인 경우 두개골 특성은 255차원이 될 수 있습니다. 이때 조건부독립성을 이용하여 인과관계를 구축할 수 있다.

방법에는 다음 두 가지가 있습니다.

① PC(Peter-Clark) 알고리즘: 알고리즘은 시스템에서 공통 인수가 관찰되지 않는다고 가정합니다.

② FCI 알고리즘: 숨겨진 변수가 있을 때 사용됩니다.

다음은 PC 알고리즘을 사용하여 고고학 데이터를 분석합니다. 일련의 조건부 독립 속성은 데이터에서 파생될 수 있습니다. 예를 들어 변수 X1 및 X5는 X3이 주어질 때 조건부 독립입니다. 동시에 두 변수가 조건부 독립이면 두 변수 사이에 간선이 없음을 증명할 수 있습니다. 그런 다음 변수가 조건부 독립인 경우 연결된 가장자리를 제거하여 무방향 그래프를 얻은 다음 그래프에서 가장자리의 방향을 판단하여 방향성 비순환 그래프를 찾습니다. 그래프) 또는 데이터의 변수 간의 조건부 독립 제약 조건을 충족하기 위한 방향성 비순환 그래프 모음입니다.

위 그림은 PC 알고리즘과 커널 조건부 독립성 검정 방법을 이용하여 고고학 자료를 분석한 결과를 보여줍니다. 지리적 위치는 날씨에 영향을 주고, 날씨는 두개골의 크기에 영향을 미치며, 성별도 두개골의 크기에 영향을 미칩니다. 두개골 등 데이터 분석을 통해 그 인과관계를 알아냈습니다.

방금 언급한 두 가지 문제 중 하나는 변수 DAG의 각 모서리의 방향을 찾는 것인데, 여기에는 추가적인 가정이 필요합니다. 원인이 결과에 어떻게 영향을 미치는지에 대해 몇 가지 가정을 하면 원인과 결과가 비대칭이라는 것을 알 수 있으므로 원인과 결과의 방향을 알 수 있습니다. 아래 그림의 데이터 배경은 여전히 ​​독립적이고 동일하게 분포된 데이터이며 추가적인 매개변수 제한이 추가되었으며 시스템에서는 여전히 교란 요인이 허용되지 않습니다. 이때 인과관계의 방향을 연구하기 위해서는 다음과 같은 세 가지 유형의 모델을 사용할 수 있습니다.

① 선형 비선형 모델

② Post-nonlinear causal model(PNL, Post-nonlinear causal model)

③; 추가 소음 모델(ANM, Additive Noise Model).

선형 비가우시안 모델에서는 X가 Y로 이어진다고 가정합니다. 즉, X는 종속변수이고 Y는 효과변수입니다. 그림에서 볼 수 있듯이 선형 회귀 분석을 위해 Y를 설명하기 위해 X를 사용하면 잔차와 X가 독립적입니다. 그러나 반대로 설명하기 위해 Y를 사용하면 분명히 독립적이지 않습니다(선형 가우스의 경우 변수 간의 상관 관계 없음). 그러나 이 순간 모델은 선형 비가우시안입니다. 즉, 상관 관계가 없다고 해서 독립적이라는 의미는 아닙니다. 종속변수와 효과변수 사이에 비대칭성이 존재함을 알 수 있다. 비선형 이후 인과 모델과 가산 잡음 모델에도 동일하게 적용됩니다.

위 그림은 비선형 이후 인과 모델을 보여줍니다. 외부의 두 번째 비선형 함수(f2)는 일반적으로 시스템의 측정 프로세스 중에 도입된 비선형 변화를 설명하는 데 사용되며, 종종 데이터를 관찰/측정할 때 비선형 변화가 발생합니다. -선형적인 변화. 예를 들어, 생물학 분야에서는 유전자 발현 데이터를 측정하기 위해 기기를 사용할 때 추가적인 비선형 변화가 발생합니다. 선형 모델, 비선형 가산 잡음 모델, 곱셈 잡음 모델은 모두 PNL 모델의 특별한 경우입니다.

상단 산점도는 변수 x1(고도)과 x2(연간 강수량) 간의 관계를 보여줍니다. 먼저 x1이 x2를 유발한다고 가정하고 데이터에 맞는 모델을 구축합니다. 왼쪽 하단에 표시된 것처럼 잔차와 x1은 독립적입니다. 그런 다음 x2가 x1을 유발한다고 가정하고 잔차를 다시 찾습니다. 및 x2는 독립적이지 않습니다(가운데 그림 참조). 이로부터 인과방향은 x1이 x2로 이어지는 것에 기인한다는 결론이 나온다.

인과변수의 비대칭성은 앞의 예에서도 물론 찾아볼 수 있는데, 이 결과가 이론적으로 보장될 수 있을까요? 그리고 그것은 유일한 올바른 결과입니다. 반대 방향(유발하는 효과)은 데이터를 설명할 수 없습니까? 증명은 위의 표와 같습니다. 5가지 경우에는 데이터가 양방향(원인에서 결과로, 효과에서 원인으로)으로 설명될 수 있습니다. 이 5가지 경우는 매우 특수한 경우입니다. 첫 번째는 선형 가우스 모델로, 관계가 선형이고 분포가 가우스이므로 인과적 비대칭성이 사라집니다. 나머지 4개는 특수 모델이다.

포스트 비선형 모델을 사용하여 데이터를 분석하더라도 올바른 방향에서는 독립 잔차를 찾을 수 있지만 반대 방향에서는 찾을 수 없습니다. 선형모델과 비선형 가산성 노이즈 모델은 모두 포스트비선형 모델의 특수한 경우이므로 이 경우에도 두 모델 모두 적용 가능하며 인과방향을 찾을 수 있다.

두 개의 변수가 주어졌을 때, 위의 방법을 통해 그 인과관계 방향을 찾아볼 수 있습니다. 그러나 더 많은 경우에는 다음과 같은 문제가 해결되어야 합니다. 예를 들어 심리학 분야에서는 일부 질문(xi)에 대한 답변이 설문지를 통해 수집되며 이러한 답변 간에 종속성이 있다고 간주되지 않습니다. 이러한 답변 사이의 관계는 직접적인 인과 관계입니다.

하지만 위 그림과 같이 이러한 xi는 뒤에 숨겨진 변수 Li와 함께 생성됩니다. 특히 관찰된 xi를 통해 숨겨진 변수 Li와 숨겨진 변수 간의 관계를 어떻게 밝혀낼 것인지가 중요합니다.

최근 몇 년 동안 이러한 종속 변수와 그 관계를 찾는 데 도움이 되는 몇 가지 방법이 있었습니다. 위 그림은 일련의 문제를 해결할 수 있는 GIN(Generalized Independent Noise) 방법의 적용 예를 보여줍니다. 데이터 내용은 교사의 직업적 소진으로, 28개의 변수를 포함하고 있습니다. 오른쪽 그림은 이러한 번아웃 조건을 초래하는 전문가들이 제안한 가능한 잠재변수(관찰변수)와 잠재변수 간의 관계를 보여준다. 관찰된 데이터를 GIN 방법으로 분석하여 얻은 결과는 전문가가 제시한 결과와 일치합니다. 전문가는 질적 배경 지식을 통해 분석을 수행하고, 데이터 분석의 정량적 분석 방법은 전문가 결과에 대한 검증 및 지원을 제공합니다.

보다 심층적인 분석을 위해 잠재변수가 계층적, 즉 잠재변수 계층구조(Latent Hierarchical Structure)라고 가정할 수 있습니다. 관찰된 변수 xi를 분석함으로써 숨겨진 변수 Li와 그 뒤에 있는 관계를 밝힐 수 있습니다.

3. 시계열을 통해 학습하는 인과관계

이제 독립 및 동일분포 상황에서의 인과관계 표현 방법을 이해했으니, 다음에는 비선형 조건 및 독립 동일분포 상황에서 그 이면에 숨은 변수와 인과관계를 찾는 방법을 소개하겠습니다. 상황. 일반적으로 독립분포와 동일분포의 경우 인과관계를 찾기 위해서는 상대적으로 강한 조건(모수모형 가정, 선형모형, 희소그래프 등)이 필요하다. 다른 경우에는 인과관계를 더 쉽게 찾을 수 있습니다.

다음은 시계열에서 인과관계 표현을 찾는 방법, 즉 데이터가 독립적이지 않고 동일하게 분포되어 있는 경우 인과관계 분석을 수행하는 방법을 소개합니다.

관찰된 시간에 인과관계가 발생하는 경우 계열 이는 시계열 데이터에서 인과관계, 즉 Granger 인과관계를 찾는 고전적인 문제입니다. 그랜저 인과관계는 앞서 언급한 조건부 독립에 기초한 인과관계와 일치하지만, 시간 제약이 추가되고(원인보다 먼저 발생할 수 없는 경우) 더 나아가 순간적인 인과관계가 도입될 수 있습니다.

위 사진은 좀 더 실용적인 방법을 보여줍니다. 비디오 데이터에서 데이터 뒤에 숨겨진 의미 있는 프로세스는 우리가 관찰하는 데이터가 가역적인 부드러운 비선형 함수에 의한 변환을 통해 생성된다는 것입니다. 실제 암묵적 인과 과정은 일반적으로 "밀어낸 후 추락"과 같이 시간에 따른 인과 관계를 갖습니다. 이 인과 효과는 일반적으로 시간이 지연됩니다. 이러한 조건에서는 매우 약한 가정(기본 잠재 프로세스가 비모수적이고 g 함수(잠재 프로세스에서 관찰된 시계열까지)도 비모수적임에도 불구하고) 기본 잠재 프로세스를 완전히 이해할 수 있습니다. 모두 공개되었습니다.

실제 암묵적 과정으로 돌아온 후에는 순간적인 인과관계와 의존성이 없고 객체 간의 관계가 더욱 명확해지기 때문입니다. 그러나 영상 데이터의 픽셀을 직접 관찰하는 등 관찰 데이터를 살펴보기 위해 잘못된 분석 방법을 사용하면 이들 사이에 순간적인 종속성이 있음을 발견하게 됩니다.

위 그림은 두 가지 간단한 경우를 보여줍니다. 왼쪽은 KiTTiMask 비디오 데이터를 보여줍니다. 비디오 데이터를 분석하면 한 방향으로 이동하고 마스크 크기를 변경하는 세 가지 숨겨진 프로세스를 얻습니다. 오른쪽은 서로 다른 색상의 작은 공 5개를 보여줍니다. 일부 공은 보이지 않는 스프링으로 연결되어 있으며, 분석을 통해 10개의 숨겨진 변수(5개의 작은 공의 x, y 좌표)를 얻을 수 있으며 그 사이의 원인과 결과를 알 수 있습니다. 관계를 찾을 수 있습니다(일부 공 사이에 스프링이 있음). 영상 데이터를 기반으로 완전히 비지도 방식을 직접 활용하고, 원인과 결과의 원리를 도입해 뒤에 있는 사물 간의 관계를 찾아낼 수 있습니다.

4. 다중 분포에서의 인과적 표현 학습

마지막으로 데이터 분포가 변경될 때의 인과 분석을 소개하겠습니다.

시간이 지남에 따라 변수/프로세스를 기록하면 시간이 지남에 따라 데이터 분포가 변경되는 것을 종종 발견할 수 있습니다. 이는 관찰되지 않은/측정된 기본 변수 값의 변화로 인해 발생하며, 이에 따라 관찰된 변수의 데이터 분포가 변경됩니다. 마찬가지로, 서로 다른 조건에서 데이터를 측정하면 서로 다른 조건/위치에서 측정된 데이터의 분포도 다를 수 있다는 것을 알 수 있습니다.

여기서 강조할 점은 인과모델과 데이터 분포의 변화가 매우 밀접한 연관이 있다는 점입니다. 인과 모델이 주어지면 모듈 특성을 기반으로 이러한 하위 모듈이 독립적으로 변경될 수 있습니다. 이러한 변화를 데이터에서 관찰할 수 있으면 인과 모델의 정확성을 확인할 수 있습니다. 여기에 언급된 인과 모델의 변화는 인과 영향이 더 강해지거나 약해지거나 심지어 사라질 수도 있음을 의미합니다.

비정상 데이터/이종 데이터에서는 관찰된 변수가 주어지면 인과관계를 더 직접적으로 발견할 수 있습니다.

① 먼저, 어떤 변수가 바뀔지 인과관계 생성 과정을 관찰할 수 있습니다. 인과관계의 방향이 없는 가장자리(골격)

3 원인의 방향을 알아냅니다. 데이터 분포가 변경되면 추가 속성을 사용할 수 있습니다. 원인의 변화와 원인에 따른 결과의 변화는 서로 독립적이며 아무런 관련이 없습니다. 서로 다른 모듈 간의 변화는 독립적이기 때문입니다.

4 저차원 시각화 방법을 사용하여 원인 변화 과정을 설명합니다.

다음 그림은 뉴욕 증권 거래소의 주식 일별 수익률 데이터(순간 데이터, 시차 없음)를 분석한 결과 중 일부를 보여줍니다.

비정상성 영향을 통해 이들 간의 비대칭성을 찾을 수 있습니다. 서로 다른 부문은 동일한 범주(클러스터)에 속하고 밀접하게 관련되어 있는 경우가 많습니다. 오른쪽 하단의 이미지는 시간에 따른 주식 변화의 인과 과정을 보여주며, 두 개의 수직 축은 각각 2007년과 2008년 금융 위기를 나타냅니다.

다중 분포 조건에서의 인과 분석 방법을 통해 다양한 데이터 세트에서 데이터의 변화 패턴을 찾아낼 수 있으며 전이 학습 및 도메인 적응에 직접 적용할 수 있습니다. 위 그림에서 볼 수 있듯이, 다양한 데이터 세트에서 데이터의 변화하는 규칙을 확인할 수 있으며, 증가된 그래프를 사용하여 데이터의 분포가 어떻게 변할 수 있는지 보여줍니다. 그림에서 theta_Y는 이를 나타내고 Y는 이를 나타냅니다. 상위 노드 아래의 분포는 해당 도메인에 따라 변경될 수 있습니다. 데이터 분포의 변화를 설명하는 그래프를 기반으로 새로운 필드나 대상 필드에서 Y를 예측하는 것은 매우 표준적인 문제입니다. 즉, 특성 값이 주어지면 Y의 사후 확률을 어떻게 찾는 것이 추론 문제입니다.

위 그림을 보면 시뮬레이션 데이터와 실제 데이터에 대한 인과관계 표현 방법의 추론 효과 정확도가 크게 향상되었음을 알 수 있습니다. 질적 변화 규칙과 다양한 분야의 가변성을 기반으로 새로운 분야가 등장하면 적응형 조정이 이루어지며 이러한 종류의 예측 효과는 더 좋아질 것입니다.

위 그림은 도메인 적응을 위한 부분 분리와 관련된 최근 작업을 보여줍니다. 특성과 대상이 주어지면 모든 것이 비모수적이며 일부 요소는 도메인에 따라 변경되지 않는다고 가정합니다. 즉, 분포는 안정적이지만 일부 요소는 변경될 수 있습니다. 발견된 요소를 바탕으로 서로 다른 분야를 함께 정렬하고 서로 다른 분야 간의 대응 관계를 찾을 수 있으므로 도메인 적응/전이 학습이 당연히 가능해집니다. 분포 변화의 이면에 있는 독립 요인들은 관측 데이터로부터 직접적으로 복구될 수 있고, 변하지 않은 요인들은 그들의 부분 공간을 복원할 수 있음을 증명할 수 있습니다. 표에서 볼 수 있듯이 위의 방법은 도메인 적응에서 좋은 결과를 얻을 수 있습니다. 동시에 이 방법은 최소 변화의 원칙을 준수합니다. 즉, 서로 다른 분야의 데이터 요소가 어떻게 변경되었는지 설명하기 위해 가장 적게 변경된 요소를 사용하여 대응할 수 있기를 바랍니다.

요약하자면 이 공유에는 주로 다음 내용이 포함됩니다.

① 일련의 기계 학습 문제에는 그 뒤에 있는 데이터의 적절한 표현이 필요합니다. 예를 들어, 결정을 내릴 때 최적의 결정을 내릴 수 있도록 결정의 영향을 알고 싶고, 도메인 적응/일반화에서는 데이터 분포가 어떻게 변경되었는지 알고 싶습니다. 강화학습에서 최적의 예측은 에이전트가 환경과의 상호작용 및 상호작용 자체로 인해 발생하는 문제입니다. 공정성은 모두 인과관계 표현과 관련이 있습니다.

② 숨겨진 변수를 포함한 인과관계는 특정 조건에서 데이터로부터 완전히 복구될 수 있습니다. 데이터를 통해 그 뒤에 있는 프로세스의 성격을 실제로 이해하고 사용할 수 있습니다.

3 인과관계는 미스터리가 아닙니다. 데이터가 있고 가설이 적절하다면 그 뒤에 숨은 인과관계도 찾을 수 있다. 여기에서 만들어진 가정은 가급적 테스트 가능해야 합니다.

일반적으로 인과 표현 학습은 활용 가능성이 매우 높지만, 동시에 시급히 개발해야 하고 모두의 공동 노력이 필요한 방법도 많습니다.

위 내용은 CMU Zhang Kun: 인과관계 표현 기술의 최신 발전의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!