inferens faktor pembolehubah

Inferens variasi ialah kaedah inferens kebarangkalian yang digunakan untuk menganggarkan taburan posterior model kebarangkalian kompleks. Ia mengurangkan kerumitan pengiraan dengan mengubah masalah asal kepada masalah pengoptimuman. Inferens variasi digunakan secara meluas dalam bidang seperti pembelajaran mesin, statistik dan teori maklumat.

Mengapa ia dipanggil variasi?

Perkataan "variasi" berasal daripada kaedah variasi dalam teori fungsi, iaitu kaedah menyelesaikan nilai ekstrem sesuatu fungsi. Dalam inferens variasi, kita menemui taburan posterior anggaran dengan meminimumkan metrik jarak, yang dipanggil jarak variasi, jadi kaedah inferens ini dipanggil inferens variasi.

Idea asas inferens variasi adalah untuk menganggarkan taburan posterior sebenar sedekat mungkin dengan mencari taburan anggaran. Untuk tujuan ini, kami memperkenalkan keluarga taburan berparameter q(z;lambda), di mana z ialah pembolehubah tersembunyi dan lambda ialah parameter yang akan diperolehi. Matlamat kami adalah untuk mencari taburan q(z;lambda) yang meminimumkan perbezaannya daripada taburan posterior sebenar p(z|x). Untuk mengukur jarak antara taburan q(z;lambda) dan p(z|x), kami menggunakan jarak variasi, biasanya diukur menggunakan perbezaan KL. Perbezaan KL ialah ukuran perbezaan antara dua taburan kebarangkalian. Secara khusus, perbezaan KL boleh dikira dengan formula berikut: KL(q(z;lambda) || p(z|x)) = int q(z;lambda) log frac{q(z;lambda)}{p(z|x)} dz Dengan meminimumkan perbezaan KL, kita boleh mencari parameter lambda yang meminimumkan perbezaan antara taburan q(z;lambda) dan taburan posterior sebenar p(z|x). Dengan cara ini, kita boleh mendapatkan anggaran taburan posterior untuk tugasan inferens dan ramalan berikutnya. Secara ringkasnya, idea asas inferens variasi adalah untuk menganggarkan taburan posterior sebenar dengan mencari keluarga taburan berparameter, dan menggunakan perbezaan KL untuk mengukur perbezaan antara dua taburan. Dengan meminimumkan perbezaan KL, kita boleh mendapatkan anggaran taburan posterior untuk tugasan inferens berikutnya.

D_{KL}(q(z;lambda)||p(z|x))=int q(z;lambda)logfrac{q(z;lambda)}{p(z|x)}dz

Perhatikan bahawa perbezaan KL adalah bukan negatif Jika dan hanya jika q(z;lambda) bersamaan dengan p(z|x), perbezaan KL mengambil nilai minimum 0. Oleh itu, matlamat kami boleh diubah menjadi meminimumkan perbezaan KL, iaitu:

lambda^*=argmin_{lambda}D_{KL}(q(z;lambda)||p(z|x))

Namun, memandangkan perbezaan KL adalah fungsi yang sukar dikawal dan kompleks, kami tidak boleh meminimumkannya secara langsung. Oleh itu, kita perlu menggunakan beberapa kaedah anggaran untuk menyelesaikan masalah ini.

Dalam inferens variasi, kami menggunakan teknik yang dipanggil sempadan bawah variasi untuk menganggarkan perbezaan KL. Secara khusus, kita mula-mula menguraikan perbezaan KL kepada:

D_{KL}(q(z;lambda)||p(z|x))=E_{q(z;lambda)}[log q( z; lambda)-log p(z,x)]

Kemudian, dengan memperkenalkan taburan baharu q(z|x) dan menggunakan ketaksamaan Jensen, kita mendapat sempadan bawah:

log p( x)ge E_ {q(z|x)}[log p(x,z)-log q(z|x)]

di mana, log p(x) ialah kebarangkalian marginal bagi data, p(x, z) ialah taburan kebarangkalian bersama, dan q(z|x) ialah taburan posterior anggaran.

Sempadan bawah ini dipanggil sempadan bawah variasi atau ELBO (Evidence Lower Bound). q (z|x;lambda)}[log p(x,z)-log q(z|x;lambda)]

Perhatikan bahawa masalah pengoptimuman ini boleh diselesaikan dengan algoritma pengoptimuman seperti keturunan kecerunan. Akhir sekali, anggaran taburan posterior q(z|x) yang kita perolehi boleh digunakan untuk mengira pelbagai jangkaan, seperti ramalan, pemilihan model, dsb.

Ringkasnya, inferens variasi ialah kaedah inferens kebarangkalian berdasarkan meminimumkan perbezaan KL Dengan memperkenalkan teknik sempadan bawah variasi, algoritma pengoptimuman digunakan untuk menganggarkan taburan posterior model kebarangkalian kompleks.

Atas ialah kandungan terperinci inferens faktor pembolehubah. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!