Model generatif dan diskriminatif

Model klasifikasi boleh dibahagikan kepada dua kategori: model generatif dan model diskriminatif. Artikel ini menerangkan perbezaan antara kedua-dua jenis model ini dan membincangkan kebaikan dan keburukan setiap pendekatan.

Model diskriminatif

Model diskriminatif ialah model yang boleh mempelajari hubungan antara data input dan label output dengan mempelajari ciri data input untuk meramalkan label keluaran. Dalam masalah klasifikasi, matlamat kami adalah untuk menetapkan setiap vektor input x kepada label y. Model diskriminatif cuba mempelajari secara langsung fungsi f(x) yang memetakan vektor input ke label. Model ini boleh dibahagikan lagi kepada dua subjenis:

Pengelas cuba mencari f(x) tanpa menggunakan sebarang taburan kebarangkalian. Pengelas ini secara langsung mengeluarkan label untuk setiap sampel tanpa memberikan anggaran kebarangkalian kelas. Pengelas ini sering dipanggil pengelas deterministik atau pengelas bebas pengedaran. Contoh pengelas sedemikian termasuk jiran terdekat k, pepohon keputusan dan SVM.

Pengkelas terlebih dahulu mempelajari kebarangkalian kelas posterior P(y = k|x) daripada data latihan dan memberikan sampel x baharu kepada salah satu kelas (biasanya kelas dengan kebarangkalian posterior tertinggi) berdasarkan kebarangkalian ini).

Pengkelas ini selalunya dipanggil pengelas kemungkinan. Contoh pengelas sedemikian termasuk regresi logistik dan rangkaian saraf menggunakan fungsi sigmoid atau softmax dalam lapisan keluaran.

Semua perkara adalah sama, saya biasanya menggunakan pengelas kebarangkalian dan bukannya pengelas deterministik kerana pengelas ini memberikan maklumat tambahan tentang keyakinan dalam memberikan sampel kepada kelas tertentu.

Model diskriminasi umum termasuk:

• Regression Logistik (LR)
• Mesin Vektor Sokongan (SVM)
• Pokok Keputusan (DT)

Model Generatif

Model generatif mempelajari pengagihan input sebelum menganggarkan kebarangkalian kelas. Model generatif ialah model yang boleh mempelajari proses penjanaan data Ia boleh mempelajari pengagihan kebarangkalian data input dan menjana sampel data baharu.

Lebih khusus lagi, model generatif menganggarkan ketumpatan bersyarat P(x|y = k) bagi kategori dan kebarangkalian kategori terdahulu P(y = k) daripada data latihan. Mereka cuba memahami bagaimana data untuk setiap kategori dijana.

Kemudian gunakan teorem Bayes untuk menganggarkan kebarangkalian kelas posterior:

Penyebut peraturan Bayes boleh diwakili oleh pembolehubah yang terdapat dalam pengangka:

Model generatif juga boleh terlebih dahulu mempelajari pengagihan bersama input dan label P(x, y), dan kemudian menormalkannya untuk mendapatkan kebarangkalian posterior P(y = k |x). Sebaik sahaja kita mempunyai kebarangkalian posterior, kita boleh menggunakannya untuk menetapkan sampel baru x kepada salah satu kelas (biasanya kelas dengan kebarangkalian posterior tertinggi).

Sebagai contoh, pertimbangkan tugas pengelasan imej di mana kita perlu membezakan antara imej anjing (y = 1) dan kucing (y = 0). Model generatif mula-mula akan membina model anjing P(x|y = 1) dan model kucing P(x|y = 0). Kemudian apabila ia mengklasifikasikan imej baharu, ia memadankannya dengan kedua-dua model untuk melihat sama ada imej baharu itu kelihatan lebih seperti anjing atau lebih seperti kucing.

ialah model generatif yang membolehkan kami menjana sampel baharu daripada taburan input yang dipelajari P(x|y). Jadi kami memanggilnya model generatif. Contoh paling mudah ialah untuk model di atas kita boleh menjana imej anjing baharu dengan mengambil sampel daripada P(x|y = 1).

Model generatif am termasuk

• Naive Bayes (Naïve Bayes)
• Model Campuran Gaussian (GMM)
• Model Markov Tersembunyi (hmm)
• Analisis Diskriminasi Linear (LDA)

Model Generatif Dalam (DGM) menggabungkan model generatif dan rangkaian saraf dalam:

• Pengekod Auto (Autoekod, AE)
• Generative Adversarial Network (GAN)
• Model autoregresif, seperti GPT (Generative Pre-trained Transformer) ialah model yang mengandungi berbilion model bahasa autoregresif Parametrik.

Perbezaan, kebaikan dan keburukan

Perbezaan utama antara model generatif dan model diskriminatif ialah mereka mempunyai matlamat pembelajaran yang berbeza. Model generatif mempelajari pengagihan data input dan boleh menjana sampel data baharu. Model diskriminatif mempelajari hubungan antara data input dan label output dan boleh meramalkan label baharu.

Model generatif:

Model generatif memberi kita lebih banyak maklumat kerana mereka mempelajari pengagihan input dan kebarangkalian kelas secara serentak. Sampel baharu boleh dijana daripada pengagihan input yang dipelajari. Dan boleh mengendalikan data yang hilang kerana mereka boleh menganggarkan pengagihan input tanpa menggunakan nilai yang hilang. Tetapi kebanyakan model diskriminatif memerlukan semua ciri hadir.

Kerumitan latihan adalah tinggi kerana model generatif memerlukan sejumlah besar sumber pengkomputeran dan penyimpanan untuk mewujudkan pengagihan bersama antara data input dan data output. Andaian pengagihan data adalah agak kuat, kerana model generatif perlu mewujudkan pengagihan bersama antara data input dan data output, dan perlu mengandaikan dan memodelkan pengagihan data Oleh itu, untuk pengagihan data yang kompleks, model generatif sesuai untuk skala kecil Tidak berkenaan dengan sumber pengkomputeran.

Model generatif boleh mengendalikan data multimodal kerana model generatif boleh mewujudkan pengagihan bersama multivariate antara data input dan data output, dengan itu dapat mengendalikan data multimodal.

Model diskriminatif:

Adalah sukar dari segi pengiraan untuk model generatif untuk mempelajari taburan input P(x|y) tanpa membuat beberapa andaian tentang data, contohnya, jika x terdiri daripada m binari Komposisi Ciri,Untuk memodelkan P(x|y), kita perlu menganggarkan 2 ᵐ parameter daripada data untuk setiap kelas (parameter ini mewakili kebarangkalian bersyarat bagi setiap 2 ᵐ gabungan ciri m). Model seperti Naïve Bayes menganggap kebebasan bersyarat bagi ciri untuk mengurangkan bilangan parameter yang perlu dipelajari, jadi kerumitan latihan adalah rendah. Tetapi andaian sedemikian sering menyebabkan model generatif berprestasi lebih buruk daripada model diskriminatif.

Ia mempunyai prestasi yang baik untuk pengedaran data yang kompleks dan data berdimensi tinggi, kerana model diskriminatif boleh memodelkan hubungan pemetaan antara data input dan data output secara fleksibel.

Model diskriminatif sensitif kepada data bising dan data hilang, kerana model hanya mempertimbangkan hubungan pemetaan antara data input dan data output, dan tidak menggunakan maklumat dalam data input untuk mengisi nilai yang hilang dan mengalih keluar bunyi bising.

Ringkasan

Model generatif dan model diskriminatif ialah kedua-dua jenis model penting dalam pembelajaran mesin, dan masing-masing mempunyai kelebihan dan senario yang boleh digunakan. Dalam aplikasi praktikal, adalah perlu untuk memilih model yang sesuai mengikut keperluan tugas tertentu, dan menggabungkan model hibrid dan cara teknikal lain untuk meningkatkan prestasi dan kesan model.

Atas ialah kandungan terperinci Model generatif dan diskriminatif. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!