Apakah entropi silang?

Model pembelajaran mesin dan pembelajaran mendalam sering digunakan untuk menyelesaikan masalah regresi dan klasifikasi. Dalam pembelajaran diselia, model belajar semasa latihan bagaimana untuk memetakan input kepada output kemungkinan. Untuk mengoptimumkan prestasi model, fungsi kehilangan sering digunakan untuk menilai perbezaan antara keputusan yang diramalkan dan label sebenar, antaranya entropi silang ialah fungsi kehilangan biasa. Ia mengukur perbezaan antara taburan kebarangkalian yang diramalkan oleh model dan label sebenar Dengan meminimumkan entropi silang, model boleh meramalkan output dengan lebih tepat.

Apa itu Cross Entropy

Cross entropy ialah ukuran perbezaan antara dua taburan kebarangkalian untuk set pembolehubah rawak atau peristiwa tertentu.

Entropi silang ialah fungsi kehilangan yang biasa digunakan, terutamanya digunakan untuk mengoptimumkan model pengelasan. Prestasi model boleh diukur dengan nilai fungsi kerugian Lebih rendah kerugian, lebih baik model. Idea teras fungsi kehilangan entropi silang adalah untuk membandingkan kebarangkalian setiap kategori yang diramalkan dengan output yang dijangkakan (0 atau 1) bagi kategori sebenar dan mengira kerugian. Apabila jurang antara kebarangkalian yang diramalkan dan nilai jangkaan sebenar adalah lebih besar, skor kerugian akan menjadi lebih besar, sebaliknya, apabila jurang lebih kecil, skor kerugian akan menjadi lebih kecil. Semasa proses latihan model, kami berharap bahawa skor kerugian adalah sekecil mungkin, dan kehilangan entropi silang model sempurna ialah 0. .

Atas ialah kandungan terperinci Apakah entropi silang?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!