Prinsip asas algoritma pokok meningkatkan kecerunan

Pokok penggalak kecerunan ialah algoritma pembelajaran ensemble yang melatih model pepohon keputusan secara berulang, dan kemudian menimbang dan menggabungkan berbilang model pepohon keputusan untuk membina model pengelasan atau regresi yang lebih berkuasa. Algoritma ini adalah berdasarkan model tambahan, dan setiap model pokok keputusan baharu direka untuk meminimumkan baki model sebelumnya. Keputusan ramalan model akhir ialah purata wajaran semua model pokok keputusan. Pokok yang dirangsang kecerunan digunakan secara meluas kerana ketepatan dan kekukuhannya yang tinggi

Secara khusus, prinsip pokok yang dirangsang kecerunan adalah seperti berikut:

Pertama, set data latihan dibahagikan kepada set latihan dan set pengesahan. Gunakan set latihan untuk melatih model pokok keputusan asas sebagai model awal.

Pertama, kira baki pada set latihan iaitu perbezaan antara nilai sebenar dan nilai ramalan. Kemudian, gunakan sisa sebagai pembolehubah sasaran baharu untuk melatih model pepohon keputusan baharu padanya. Akhir sekali, model baharu ditimbang bercantum dengan model awal.

Pertama, kami menimbang keputusan ramalan model awal dan model baharu untuk mendapatkan hasil ramalan baharu. Seterusnya, kami mengira baki antara ramalan baharu dan nilai sebenar, dan menggunakan baki sebagai pembolehubah sasaran baharu. Kami kemudiannya melatih model pepohon keputusan baharu menggunakan pembolehubah sasaran baharu ini dan melakukan gabungan berwajaran dengan model sebelumnya. Dengan cara ini, kami boleh menambah baik model ramalan kami secara berterusan dan berulang untuk mendapatkan hasil ramalan yang lebih tepat.

4 Ulangi langkah di atas sehingga bilangan lelaran yang telah ditetapkan tercapai atau prestasi model pada set pengesahan mula menurun.

5 Akhir sekali, keputusan ramalan bagi model pepohon keputusan berganda ditimbang dan digabungkan untuk mendapatkan keputusan ramalan akhir.

Dalam pokok penggalak kecerunan, setiap model pokok keputusan baharu dilatih berdasarkan model sebelumnya, jadi setiap model baharu membetulkan ralat model sebelumnya. Dengan cara ini, melalui berbilang lelaran, pokok penggalak kecerunan boleh terus meningkatkan prestasi model, dengan itu mencapai keputusan klasifikasi atau regresi yang lebih baik.

Dalam pelaksanaan khusus, pokok penggalak kecerunan biasanya menggunakan kaedah penurunan kecerunan untuk mengoptimumkan parameter model. Secara khusus, parameter model boleh dikemas kini dengan mengira kecerunan negatif fungsi kehilangan, dengan itu meminimumkan fungsi kehilangan. Dalam masalah klasifikasi, fungsi kehilangan entropi silang biasanya digunakan dalam masalah regresi, fungsi kehilangan kuasa dua biasanya digunakan.

Perlu diingatkan bahawa kelebihan pokok penggalak kecerunan ialah ia tidak memerlukan prapemprosesan data yang berlebihan dan boleh mengendalikan nilai yang hilang dan ciri diskret secara langsung. Walau bagaimanapun, oleh kerana setiap lelaran memerlukan latihan model pepohon keputusan baharu, kelajuan latihan pepohon dirangsang kecerunan adalah perlahan. Di samping itu, jika bilangan lelaran terlalu besar atau pepohon keputusan terlalu dalam, ia akan menyebabkan model terlampau dipasang, jadi pemprosesan regularisasi tertentu diperlukan.

Adakah pokok yang dirangsang kecerunan berhenti awal atau tidak?

Dalam pokok penggalak kecerunan, pemberhentian awal boleh membantu kita mengelakkan pemasangan berlebihan dan meningkatkan keupayaan generalisasi model. Secara umum, kita boleh menentukan bilangan pusingan optimum untuk berhenti awal melalui kaedah seperti pengesahan silang.

Secara khusus, jika kita mendapati prestasi model pada set ujian mula merosot apabila menyesuaikan data latihan, maka kita boleh menghentikan latihan untuk mengelakkan overfitting. Di samping itu, jika kita menggunakan pokok yang lebih dalam atau kadar pembelajaran yang lebih besar, ia juga boleh menyebabkan model terlalu dipasang Dalam kes ini, berhenti awal juga akan membawa faedah tertentu.

Ringkasnya, pemberhentian awal ialah kaedah regularisasi yang biasa dalam pokok penggalak kecerunan, yang boleh membantu kita mengelakkan pemasangan berlebihan dan meningkatkan keupayaan generalisasi model.

Atas ialah kandungan terperinci Prinsip asas algoritma pokok meningkatkan kecerunan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!