인과 추론에 데이터를 더 잘 활용하는 방법은 무엇입니까?

소개: 이 공유의 제목은 "인과 추론에 데이터를 더 잘 활용하는 방법은 무엇입니까?"입니다. '에서는 원인과 결과에 관해 발표된 논문과 관련된 팀의 최근 작업을 주로 소개합니다. 본 보고서에서는 두 가지 측면에서 더 많은 데이터를 사용하여 인과관계 추론을 할 수 있는 방법을 소개합니다. 하나는 과거 통제 데이터를 사용하여 혼동 편향을 명시적으로 완화하는 것이고, 다른 하나는 다중 소스 데이터를 융합하여 인과관계 추론을 하는 것입니다.

전체 텍스트 목차:

• 인과 추론 배경
• 수정된 인과 트리 GBCT
• 인과 데이터 융합
• Ant의 비즈니스 애플리케이션

1. 인과 추론 배경

일반적인 머신러닝 예측 문제는 일반적으로 동일한 시스템에서 설정됩니다. 예를 들어 흡연자의 폐암 확률을 예측하는 경우가 일반적입니다. 사진 분류 등 질문입니다. 인과관계에 대한 질문은 "흡연이 폐암을 유발합니까?"와 같은 일반적인 질문과 관련이 있습니다.

인과관계 추정 문제에는 매우 중요한 두 가지 데이터 유형이 있습니다. 하나는 관찰 데이터이고 다른 하나는 무작위 대조 실험에 의해 생성된 실험 데이터입니다.

• 관찰 데이터는 우리의 실제 생활이나 제품에서 축적된 데이터입니다. 예를 들어, 흡연 데이터는 흡연을 좋아하는 사람이 있다는 것을 보여주지만, 관찰 데이터는 흡연자와 관련이 있다는 것을 보여줍니다. 결국 흡연자 중 일부는 암에 걸릴 것입니다. 머신러닝 예측 문제는 조건부 확률 P(폐암 발생 | 흡연), 즉 흡연 조건이 주어지면 흡연자가 폐암에 걸리는 것을 관찰할 확률을 추정하는 것입니다. 위의 관찰 데이터에서 흡연 분포는 실제로 무작위가 아닙니다. 모든 사람의 흡연 선호도가 다르며 환경의 영향도 받습니다.
• 인과관계에 대한 질문에 답하는 가장 좋은 방법은 무작위 대조 실험을 수행하는 것입니다. 실험 데이터는 무작위 대조 실험을 통해 획득됩니다. 무작위 대조 시험에서는 치료 배정이 무작위로 이루어집니다. "흡연이 폐암을 유발하는지 여부"라는 결론을 내리기 위해 실험을 해야 한다고 가정해 보겠습니다. 먼저 충분한 사람을 찾아서 절반은 흡연을 강요하고 나머지 절반은 흡연을 하지 않도록 강제하여 폐암에 걸릴 확률을 관찰해야 합니다. 두 그룹의 암. 윤리 및 정책과 같은 요인으로 인해 일부 시나리오에서는 무작위 대조 시험이 불가능하지만 검색 프로모션의 A/B 테스트와 같은 일부 분야에서는 무작위 대조 시험이 여전히 수행될 수 있습니다.

인과 추정 문제 E(Y|do(X))와 전통적인 예측 또는 분류 문제 E(Y|X)의 주요 차이점은 다음과 같습니다. 주어진 조건이 발생합니다. Judy Pearl은 Do라는 상징을 나타냅니다. X 변수를 특정 값으로 강제하기 위해 개입합니다. 본 보고서에서 인과관계 추정은 주로 관측자료로부터 인과관계 추정을 의미한다.

인과 추론에 데이터를 더 잘 활용하는 방법은 무엇입니까? 본 보고서에서는 이러한 주제를 두 팀의 최근 발표 논문을 예로 들어 소개하겠습니다.

• 첫 번째 작업은 과거 비교 데이터를 어떻게 더 잘 활용하는가입니다. 예를 들어, 특정 시점에 마케팅 프로모션 이벤트가 진행되는 경우, 해당 시점 이전의 시점을 '개입 전', 이후의 시점을 '개입 후'라 한다. 우리는 개입하기 전에 개입의 실제 효과를 알고 다음 결정을 내리는 데 도움이 되기를 바랍니다. 이 마케팅 캠페인을 시작하기 전에 우리는 사용자의 과거 성과 데이터를 가지고 있었습니다. 첫 번째 작업은 개입 효과를 더 잘 평가하기 위해 데이터 수정 작업을 지원하는 "사전 개입" 데이터를 잘 활용하는 방법을 소개하는 것이었습니다.
• 두 번째 작품에서는 멀티 소스 이기종 데이터를 더 잘 활용하는 방법을 주로 소개합니다. 이러한 문제는 종종 기계 학습과 관련됩니다. 일반적인 문제에는 도메인 적응, 전이 학습 등이 포함됩니다. 오늘 보고서에서는 인과적 관점, 즉 여러 데이터 소스가 있다고 가정하여 다중 소스 이종 데이터의 활용, 인과 효과를 더 잘 추정하는 방법을 고려할 것입니다.

2. 교정 인과 트리 GBCT

1. 전통적인 인과 트리

트리 알고리즘은 주로 두 개의 모듈로 구성됩니다.

• 분할 기준: 노드를 두 개의 모듈로 분할합니다. 분할 기준: 하위 노드 2개
• 매개변수 추정: 최종적으로 분할을 중단하는 등 분할이 완료된 후 매개변수 추정 방법에 따라 새 표본 또는 그룹이 리프 노드에 미치는 인과 효과를 예측합니다

일부 전통적인 인과나무 알고리즘은 인과관계의 이질성을 기반으로 분할됩니다. 기본 아이디어는 분할 후 왼쪽 하위 노드와 오른쪽 하위 노드의 인과관계 효과가 크게 달라지기를 바라는 것입니다. 서로 다른 데이터 분포의 인과관계 효과의 이질성은 분할을 통해 포착할 수 있습니다.

전통적인 인과 트리의 분할 기준은 다음과 같습니다.

• 상승 트리의 분할 기준은 왼쪽 및 오른쪽 하위 노드의 인과 효과 차이를 최대화하는 것입니다. 차이는 거리를 사용하여 측정됩니다. 유클리드 거리 및 KL 발산과 같은 측정값
• 인과 트리 분할 기준은 인과 효과의 제곱을 최대화하는 것으로 직관적으로 해석될 수 있습니다. 이 분할 기준은 리프 노드의 인과 효과의 분산을 최대화하는 것과 동일하다는 것을 수학적으로 증명할 수 있습니다.

공통 모수 추정 방법은 인과 효과 추정으로 분할 리프 노드에서 실험군의 평균 결과에서 대조군의 평균 결과를 직접 빼는 것입니다. 무작위 대조 실험인 경우 치료에 대한 할당 메커니즘은 무작위이며, 이로부터 계산된 평균 차이가 인과 효과입니다. 무작위 할당 메커니즘은 실험군과 대조군의 데이터 분포가 동일하도록 보장하는 것을 동질성이라고 합니다.

인과 트리에서 분할하여 자식 노드를 얻을 때 분할하여 얻은 왼쪽 자식 노드와 오른쪽 자식 노드의 분포가 동일하다고 보장할 수 있나요?

2. 교정 인과 트리 GBCT

기존의 인과 트리와 상승 트리는 분할 후 왼쪽 자식 노드와 오른쪽 자식 노드의 분포가 동일하다고 보장할 수 없습니다. 따라서 이전 섹션에서 언급한 전통적인 추정치 는 편향되어 있습니다.

우리 작업은 실험군(치료군)에 대한 CATT의 평균 인과 효과를 추정하는 데 중점을 둡니다. CATT는 다음과 같이 정의됩니다.

또한 전통적인 인과 효과 추정치는 두 부분으로 나눌 수 있습니다.

선택 편향/교란 편향은 다음과 같이 정의할 수 있습니다.

직관적인 의미는 실험군에서 처리=0일 때의 추정값에서 대조군의 값을 뺀 추정값입니다. 치료=0일 때. 전통적인 인과 나무에서는 위의 편향이 특징화되지 않으며 선택 편향이 추정치에 영향을 미쳐 최종 추정치가 편향될 수 있습니다.

제품이나 플랫폼에 축적된 과거 비교 데이터를 활용하여 선택 편향을 명시적으로 줄이는 것이 우리의 아이디어입니다. 구체적인 연산은 두 가지 가정을 기반으로 합니다.

• 가정 1: 개입 전 치료=0 상태에서 실험군과 대조군의 결과 성과를 관찰할 수 있습니다. 금융 신용상품에서 신용카드 상품 한도 증액 작업을 예로 들면, 한도 증액 전 사용자의 평소 사용실적, 즉 한도 증액 없이 실험군과 대조군의 결과 성과를 관찰할 수 있다. =0)은 획득 가능합니다.
• 가정 2: 결과의 y가 개입 전후에 특정 연속성을 만족한다고 가정합니다. 직관적인 이해는 개입 전후에 사용자나 그룹의 행동 변화가 너무 급격하지 않을 것이라는 것입니다.

구체적인 방법:

1 분할 기준

• 분할 기준의 첫 번째 부분은 과거 데이터의 결과를 맞추는 방식으로 전통적인 인과 나무와 유사합니다 경험치 손실을 줄이기 위해 . 예를 들어 금액을 언급하지 않고 기능을 통해 사용자 행동을 맞추는 것입니다.
• 분할 기준의 두 번째 부분은 혼동 엔트로피를 사용하는 것입니다. 평균 제곱 오차와 비교하여 혼동 엔트로피는 고차 정보를 캡처할 수 있습니다. 공식의 직관적인 의미:

은: 실험 그룹에서는 추정을 위해 제어 그룹의 모델을 사용하고, 제어 그룹에서는 추정을 위해 실험 그룹의 모델을 사용합니다. 이 두 부분을 가능한 한 가깝게 추정하여 실험군과 대조군의 분포가 최대한 동일하도록 합니다. 혼란 엔트로피의 사용은 우리 작업의 주요 기여 중 하나입니다.

• 최종 손실은 위 두 부분의 가중합입니다. 손실은 주로 개입 이전에 사용됩니다(경험 손실 부분은 여전히 ​​개입 후 데이터를 사용하여 맞춤), 즉 개입 전 데이터는 보조 수정에 사용됩니다.

② 매개변수 추정

• 매개변수 추정은 개입 후(t≥τ) 데이터를 사용하여 인과 효과를 추정합니다. 주로 개입 전의 데이터를 이용하여 교정 및 학습을 통해 트리 구조를 얻고, 리프 노드에서 개입 후의 데이터를 이용하여 인과관계 추정에 이용하므로 명시적 교정에는 개입 후의 데이터가 사용됩니다. 개입은 계산에 사용됩니다. 추정치는 더욱 정확해집니다.
• 오른쪽 그림에 표시된 부분은 노란색 선이 실험군, 파란색 선이 대조군을 나타냅니다. 비즈니스의 일부 전략에서는 실험군과 대조군의 할당이 무작위가 아닌 경우가 있으며, 둘의 분포에는 상당한 차이가 있습니다. GBCT 보정 후 리프 노드에 대한 개입 전의 실험군과 대조군의 데이터 분포는 기본적으로 모의 무작위 대조 실험과 유사한 효과를 얻습니다. 따라서 개입 후 데이터는 다음과 같습니다. 인과 효과(선 아래 황 영역에서 파란색 선 아래 영역을 뺀 값)를 추정하는 데 사용되는 것이 더 정확할 것입니다.

전통적인 트리 모델의 통합에는 배깅 및 부스팅과 같은 방법이 포함됩니다. 융기 포리스트나 원인 포리스트에서 사용하는 통합 방법은 배깅 방법입니다. 융기 포리스트의 통합은 직접 합계이며, 인과 포리스트의 통합에는 손실 함수 해결이 필요합니다.

GBCT에서 설계된 명시적 수정 모듈로 인해 GBCT는 부스팅 방법을 사용한 통합을 지원합니다. 기본 아이디어는 부스팅과 유사합니다. 첫 번째 트리가 수정된 후 두 번째 트리가 수정되고, 세 번째 트리가 수정됩니다...

두 부분의 실험이 수행되었습니다.

① 시뮬레이션 실험. 실측이 포함된 시뮬레이션 실험에서 GBCT 방법이 예상한 결과를 얻을 수 있는지 테스트합니다. 시뮬레이션 실험을 위한 데이터 생성은 두 부분으로 나누어진다(표의 첫 번째 열 Φ는 선택 편향을 나타냅니다. Φ 값이 클수록 해당 선택 편향이 강함을 의미하며 표의 값은 MAE입니다. MAE 값이 작을수록 , 더 나은 방법) :

• 첫 번째 부분은 교란 변수가 관찰되었다는 것입니다. 교란변수가 모두 관찰되면 GBCT 방법이 기존 방법보다 더 견고한지 테스트합니다. 표의 데이터를 통해 선택 편향이 클수록 기존 방법(메타 학습자, 인과 숲 등)의 성능이 저하된다는 결론을 내릴 수 있습니다.
• 두 번째 부분은 관찰되지 않은 교란 변수의 존재입니다. 이 시점에서 많은 전통적인 방법의 효율성은 훨씬 더 나빠질 것입니다. GBCT의 경우 관찰되지 않은 교란변수가 있는 경우 성능이 상대적으로 안정적이며 다른 방법보다 일관되게 더 나은 성능을 발휘합니다.
• 표의 마지막 두 열(GBCT-ND, GBCT-B)은 절제 실험, 즉 일부 모듈을 제거한 GBCT의 약화 버전으로, 우리가 제안한 각 모듈이 유용하다는 것을 더욱 보여줍니다.

②실제 신용카드 한도 인상 데이터. 무작위 대조 실험을 실시하였고, 무작위 대조 실험을 바탕으로 편향된 데이터를 구축하였다. 다양한 설정에서 GBCT 방법은 특히 편향된 데이터에서 기존 방법보다 지속적으로 우수한 성능을 발휘하여 기존 방법보다 훨씬 더 나은 성능을 발휘합니다.

3. 인과 ​​데이터 융합

두 번째 작업은 인과 데이터 융합, 즉 여러 데이터 소스가 있을 때 인과 효과를 더 잘 추정하는 방법입니다.

주요 기호: 여러 데이터 소스, Y는 결과, A는 처리, X는 관심 공변량, Z는 X 변수, S를 제외한 각 데이터 소스(도메인)의 다른 공변량입니다. 는 해당 도메인이 속한 도메인을 나타내는 데 사용되는 도메인의 지표이고, μ는 잠재적인 결과의 기대값입니다. 결과를 다음 수식으로 분해합니다.

목표 함수 δ는 각 영역에 대한 인과 효과를 추정하는 데 사용됩니다. 또한, 방해 함수에는 주효과, 성향 점수, 영역 성향 점수 및 효과가 포함됩니다. 편차 등

메타 학습자와 같은 일부 전통적인 방법에서는 데이터가 상동적, 즉 분포가 일관적이라고 가정합니다. 일부 전통적인 데이터 융합 방법은 영역 전반에 걸쳐 모집단의 이질성을 처리할 수 있지만 영역 전반에 걸친 개입 결과 및 인과 효과의 이질성을 명시적으로 포착할 수는 없습니다. 우리의 작업은 개입 결과의 영역 간 이질성과 인과 효과의 영역 간 이질성을 포함하여 영역 간 보다 복잡한 이질성을 다루는 데 중점을 둡니다.

위 그림은 WMDL 알고리즘의 프레임워크 다이어그램을 보여줍니다. 주요 모듈은 다음과 같습니다.

• 성향 점수
• 결과 모델
• 인과 정보 인식 가중치 모듈

. WMDL 알고리즘의 세 가지 주요 특징은 다음과 같습니다.

• 다양한 수준의 도메인 간 이질성을 특성화하는 방법
• 더 많은 정보를 사용하도록 가중치 모듈을 설계하는 방법
• 얻는 방법 a doublely Robust estimate

본 연구에서는 실험군의 결과와 대조군의 결과를 추정한 후 차이를 만들어 인과효과를 추정하는 대신, 인과효과, 즉 직접학습(Direct Learning)을 직접 추정합니다. 직접 학습의 이점은 실험 그룹과 통제 그룹에서 더 높은 주파수의 노이즈 신호를 피할 수 있다는 것입니다.

왼쪽 부분은 인과 관계가 여러 영역에서 동일하다고 가정하지만 결과는 이질적일 수 있습니다. 오른쪽 부분은 각 영역 간의 인과 효과가 다르다고 가정합니다. 영역 간에는 공변량이 동일하더라도 인과 효과가 다릅니다.

분해 공식을 기반으로 공식이 도출되었습니다. 결과 Y에서 주효과를 치료로 나눈 값은 I(X)로 추정되며, 얻어지는 최적의 해는 δ(X)입니다. 의 분자는 나중에 언급할 인과 정보 인식 가중치 모듈로, 이는 우리 작업의 주요 기여입니다. 분모는 이중 강건 방법의 성향 점수와 유사하지만 이 작업 영역에서도 고려됩니다. 정보. 서로 다른 영역 간의 인과관계가 다른 경우 해당 영역의 지표 정보도 고려됩니다.

이 작업에는 세 가지 장점이 있습니다.

① 다양한 디자인을 통해 개입 결과의 이질성을 처리할 수 있을 뿐만 아니라 인과 효과의 이질성을 처리할 수 있습니다.

② 속성이 있습니다. 두 배의 견고함. 도메인의 성향 점수 모델 또는 주 효과 모델의 추정치가 편향되지 않는 한 최종 추정도 편향되지 않는다는 증거가 논문에 나와 있습니다. (실제 상황은 좀 더 복잡합니다. 자세한 내용은 논문을 참조하세요.) ;

③ 이 작업은 주로 반모수적 모델 프레임워크를 설계합니다. 모델의 각 모듈은 모든 머신러닝 모델을 사용할 수 있으며 전체 모델을 신경망으로 설계하여 엔드투엔드 학습을 달성할 수도 있습니다.

가중치 모듈은 통계의 효율성 한계 이론에서 파생되었습니다. 주로 두 가지 측면의 정보가 포함되어 있습니다.

은 도메인 간의 분포 차이를 균형 있게 변환하기 위한 모듈입니다. 은 인과적으로 관련된 정보 모듈입니다. 왼쪽의 3개 사진은 이해를 돕기 위해 사용됩니다. 원본 도메인과 대상 도메인 간의 분포 차이가 클 경우 대상 도메인에 더 가까운 샘플이 우선적으로 적용됩니다. ② 분모에 대한 성향 점수 함수 설계를 통해 실험군과 대조군의 중복된 표본에 더 큰 가중치를 부여합니다.

③ V는 데이터의 노이즈를 특성화합니다. 노이즈는 분모에 있으므로 노이즈가 적은 샘플의 가중치는 더 커집니다.

위의 세 부분을 교묘하게 결합하면 서로 다른 도메인 간의 분포 차이와 서로 다른 인과 정보의 성능을 통합된 도메인으로 매핑할 수 있습니다.

동종 인과 효과 또는 이질적 인과 관계에 관계없이 WMDL(Weighted Multi-domain Direct Learning) 방법이 더 나은 결과를 제공합니다. 오른쪽 그림은 가중치 모듈에 대한 절제 실험을 보여줍니다. 실험은 가중치 모듈의 효율성을 보여줍니다. 요약하면, WMDL 방법은 다른 방법보다 지속적으로 더 나은 성능을 발휘하며 추정 분산이 상대적으로 작습니다.

4. Ant의 비즈니스 애플리케이션

금융 신용 리스크 통제 시나리오에서는 할당량 증가, 가격 인하 등의 개입 방식을 통해 잔액이나 리스크 변화 등 기대되는 효과를 얻을 수 있을 것으로 예상됩니다. 일부 실제 시나리오에서 GBCT의 교정작업은 이마거상술 전 기간의 과거 성과(이마거상술을 하지 않은 실험군과 대조군의 상태를 알 수 있음)를 활용하고, 과거 정보를 통해 명시적인 교정을 수행하며, 그래야 나중에 개입하여 추정하는 것이 더 정확해질 것입니다. 개입 전 행동이 정렬되도록 GBCT를 하위 노드로 분할하면 개입 후 인과 효과를 추정하기가 더 쉬워집니다. (보정 후 획득) 그림에서 빨간색은 이마 올리기 그룹, 파란색은 이마 올리기 그룹, 가운데 회색 부분은 추정된 인과 효과입니다. GBCT는 더 나은 현명한 결정을 내리고 신용 상품의 잔액과 위험을 제어하는 ​​데 도움이 됩니다.

5. 질의응답 세션

Q1: GBCT 보정과 이중차분법(DID)의 유사점과 차이점은 무엇인가요?

A1: GBCT 수정의 주요 아이디어는 선택 편향을 명시적으로 줄이기 위해 과거 제어 정보를 사용하는 것입니다. GBCT 방법과 DID 이중 차이 방법에는 유사점과 차이점이 있습니다.

• 유사점 둘 다 역사적 정보를 사용합니다.
• 차이점은 역사적 정보를 처리하는 방식에 있습니다. DID는 과거 데이터에서 실험군과 대조군 사이에 고정된 일정한 간격(gap)이 있다고 가정하고, 예측 시 그 간격(gap)을 뺍니다. 선택 편향으로 인해 실험군과 대조군의 할당은 무작위가 아닙니다. GBCT는 편향 보정을 통해 과거의 실험군과 대조군을 정렬합니다.

Q2: GBCT는 관찰되지 않은 교란 변수에서 더 나은 성능을 발휘합니다. 더 직관적인 설명이 있습니까?

A2: 교란변수가 모두 관찰되고 무시성 가정을 어느 정도 충족한다면 선택 편향이 명시적으로 줄어들지는 않지만 전통적인 방법으로 실험군과 대조군을 분리하는 것은 가능하다. 정렬을 달성하기 위해 실험에서는 GBCT가 약간 더 잘 수행되고 명시적 수정을 통해 결과가 더 안정적이라는 것을 보여줍니다.

관찰되지 않은 교란 변수가 있다고 가정합니다. 이러한 종류의 시나리오는 실제로 할당량이 증가하기 전에 가족 상황 및 소득과 같은 관찰되지 않은 교란 변수가 있을 수도 있습니다. 관찰되지는 않지만 사용자의 금융 행동은 과거 데이터에 반영되었습니다. 우리는 과거 성능 정보를 통한 혼동 엔트로피와 같은 방법을 통해 선택 편향을 명시적으로 줄여 트리가 분할될 때 교란 변수 간의 이질성을 분할된 하위 노드로 특성화할 수 있기를 희망합니다. 하위 노드 중에서는 관찰되지 않은 교란변수가 상대적으로 가까워 확률이 높으므로 추정된 인과효과가 상대적으로 정확합니다.

Q3: GBCT와 DML(Double Machine Learning)을 비교해 보셨나요?

A3: 비교해봤습니다. 이중 기계 학습은 반모수적 방법입니다. 이 문서의 작업은 트리 기반 방법에 더 중점을 두므로 선택된 기본 학습자는 트리 또는 포리스트 관련 방법입니다. 표의 DML-RF는 Random Forest의 Double Machine Learning 버전입니다.

DML에 비해 GBCT는 과거 비교 데이터를 어떻게 활용하는지 주로 고려합니다. 비교방법에서는 과거의 결과를 공변량으로 직접 처리하지만 이 처리방법은 분명히 정보를 잘 활용하지 못한다.

Q4: 비즈니스에서 직면할 수 있는 비슷한 문제는 오프라인에서 선택 편견이 있을 수 있다는 것입니다. 그러나 온라인 편견은 오프라인 편견과 약간의 차이가 있을 수 있습니다. 이때 오프라인으로 효과평가를 할 경우에는 오프라인 효과를 매우 정확하게 추정할 수 있는 방법이 없을 수 있습니다.

A4: 이 문제는 금융현장에서 매우 본질적인 문제입니다. 검색 프로모션에서는 온라인 학습이나 A/B 테스트를 통해 오프라인과 온라인의 차이를 부분적으로 극복할 수 있습니다. 금융 시나리오에서는 정책 영향으로 인해 온라인에서 실험을 수행하기가 쉽지 않습니다. 또한, 신용 상품에 대한 사용자 피드백을 관찰하는 데 일반적으로 성능 관찰 기간이 더 길어집니다. 따라서 이 문제를 완벽하게 해결하는 것은 실제로 매우 어렵습니다.

우리는 일반적으로 오프라인 평가 시 검증을 위해 다양한 기간(OOT)의 테스트 데이터를 사용하고 성능의 견고성을 관찰하는 방법을 채택합니다. 테스트 성능이 상대적으로 안정적이면 온라인 성능도 좋다고 믿을 이유가 상대적으로 더 많습니다.

위 내용은 인과 추론에 데이터를 더 잘 활용하는 방법은 무엇입니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!