가변 요인 추론

변동 추론은 복잡한 확률 모델의 사후 분포를 근사화하는 데 사용되는 확률 추론 방법입니다. 원래 문제를 최적화 문제로 변환하여 계산 복잡성을 줄입니다. 변분 추론은 기계 학습, 통계, 정보 이론 등의 분야에서 널리 사용됩니다.

왜 변주라고 부르나요?

변이(variation)라는 단어는 함수의 극값을 푸는 방법인 함수이론의 변이법에서 유래되었습니다. 변분 추론에서는 거리 측정법을 최소화하여 대략적인 사후 분포를 찾는데 이를 변분 거리라고 하므로 이 추론 방법을 변분 추론이라고 합니다.

변분 추론의 기본 아이디어는 근사 분포를 찾아 실제 사후 분포를 최대한 가깝게 근사화하는 것입니다. 이를 위해 매개변수화된 분포군 q(z;lambda)를 도입합니다. 여기서 z는 숨겨진 변수이고 람다는 얻어지는 매개변수입니다. 우리의 목표는 실제 사후 분포 p(z|x)와의 차이를 최소화하는 분포 q(z;lambda)를 찾는 것입니다. 분포 q(z;lambda)와 p(z|x) 사이의 거리를 측정하기 위해 일반적으로 KL 발산을 사용하여 측정되는 변동 거리를 사용합니다. KL 발산은 두 확률 분포 간의 차이를 측정한 것입니다. 구체적으로 KL 발산은 다음 공식으로 계산할 수 있습니다. KL(q(z;lambda) || p(z|x)) = int q(z;lambda) log frac{q(z;lambda)}{p(z|x)} dz KL 발산을 최소화함으로써 분포 q(z; 람다)와 실제 사후 분포 p(z|x) 사이의 차이를 최소화하는 매개변수 람다를 찾을 수 있습니다. 이러한 방식으로 후속 추론 및 예측 작업에 대한 대략적인 사후 분포를 얻을 수 있습니다. 요약하면, 변분추론의 기본 아이디어는 매개변수화된 분포군을 찾아 실제 사후 분포를 근사화하고, KL 발산을 사용하여 두 분포 간의 차이를 측정하는 것입니다. KL 발산을 최소화함으로써 후속 추론 작업에 대한 대략적인 사후 분포를 얻을 수 있습니다.

D_{KL}(q(z;lambda)||p(z|x))=int q(z;lambda)logfrac{q(z;lambda)}{p(z|x)}dz

q(z;lambda)가 p(z|x)와 동일한 경우에만 KL 발산은 음수가 아닙니다. KL 발산은 최소값 0을 취합니다. 따라서 우리의 목표는 KL 발산을 최소화하는 것으로 변환될 수 있습니다. 즉,

lambda^*=argmin_{lambda}D_{KL}(q(z;lambda)||p(z|x))

그러나 KL Divergence는 다루기 어렵고 복잡한 함수이므로 직접적으로 최소화할 수는 없습니다. 따라서 이 문제를 해결하려면 몇 가지 대략적인 방법을 사용해야 합니다.

변분 추론에서는 KL 발산을 근사화하기 위해 변분 하한이라는 기술을 사용합니다. 구체적으로, 먼저 KL 분기를 다음과 같이 분해합니다.

D_{KL}(q(z;lambda)||p(z|x))=E_{q(z;lambda)}[log q( z; lambda)-log p(z,x)]

그런 다음 새로운 분포 q(z|x)를 도입하고 Jensen 부등식을 사용하여 하한을 얻습니다.

log p( x)ge E_ {q(z|x)}[log p(x,z)-log q(z|x)]

여기서 log p(x)는 데이터 p(x, z)의 한계 확률입니다. 는 결합 확률 분포이고, q(z|x)는 대략적인 사후 분포입니다.

이 하한을 변형 하한 또는 ELBO(Evidence Lower Bound)라고 합니다. 근사 사후 분포의 매개변수 람다는 ELBO를 최대화하여 최적화할 수 있습니다.

lambda^*=argmax_{lambda}E_{ q (z|x;lambda)}[log p(x,z)-log q(z|x;lambda)]

이 최적화 문제는 경사 하강법과 같은 최적화 알고리즘으로 해결할 수 있습니다. 마지막으로, 우리가 얻은 근사 사후 분포 q(z|x)는 예측, 모델 선택 등과 같은 다양한 기대치를 계산하는 데 사용될 수 있습니다.

간단히 말하면, 변분 추론은 KL 발산을 최소화하는 기반의 확률 추론 방법으로, 변분 하한 기법을 도입하여 최적화 알고리즘을 사용하여 복잡한 확률 모델의 사후 분포를 근사화합니다.

위 내용은 가변 요인 추론의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!