Memahami entropi silang: Apakah kepentingannya yang sepadan?

Entropi mengukur ketidakpastian sesuatu peristiwa. Dalam sains data, entropi silang dan perbezaan KL berkaitan dengan taburan kebarangkalian diskret dan digunakan untuk mengukur kesamaan dua taburan. Dalam pembelajaran mesin, kehilangan entropi silang digunakan untuk menilai sejauh mana taburan yang diramalkan adalah dengan taburan sebenar.

Memandangkan taburan sebenar t dan taburan p yang diramalkan, entropi silang di antara mereka diberikan oleh persamaan berikut:

di mana p(x) ialah taburan kebarangkalian sebenar (satu-panas) dan q(x) ialah Ramalkan taburan kebarangkalian.

Walau bagaimanapun, dalam dunia nyata, perbezaan antara nilai yang diramalkan dan sebenar dipanggil divergence kerana ia menyimpang daripada nilai sebenar. Entropi silang ialah ukuran gabungan entropi dan perbezaan KL.

Sekarang mari kita lihat cara entropi silang sesuai dengan paradigma rangkaian saraf dalam menggunakan contoh klasifikasi.

Setiap kes pengelasan mempunyai label kelas yang diketahui dengan kebarangkalian 1.0, dan label yang lain mempunyai kebarangkalian 0. Model menentukan kebarangkalian bagi setiap nama kategori berdasarkan kes. Entropi silang boleh digunakan untuk membandingkan laluan saraf dengan label yang berbeza.

Bandingkan setiap kebarangkalian kelas yang diramalkan dengan keluaran 0 atau 1 yang diingini. Skor/kerugian yang dikira menghukum kebarangkalian berdasarkan jarak dari nilai yang dijangkakan. Penalti adalah logaritma, menghasilkan skor yang lebih besar untuk perbezaan ketara hampir 1 dan skor yang lebih kecil untuk perbezaan kecil hampir 0.

Menggunakan kehilangan entropi silang semasa melaraskan berat model semasa latihan, matlamatnya adalah untuk meminimumkan kerugian - lebih kecil kerugian, lebih baik model.

Atas ialah kandungan terperinci Memahami entropi silang: Apakah kepentingannya yang sepadan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!