Aplikasi permulaan berat dalam rangkaian saraf konvolusi sepenuhnya

Dalam rangkaian neural convolutional sepenuhnya (FCN), pada asasnya untuk setiap lapisan, terdapat permulaan berat secara rawak. Dan terdapat dua perkara yang perlu diberi perhatian:

Fully Convolutional Neural Network (FCN) tidak akan menggunakan 0 sebagai pemberat semasa perambatan belakang. Ini kerana apabila mengira kecerunan dL/dX lapisan perantaraan, jika berat ditetapkan kepada 0, kecerunan akan menjadi 0, menyebabkan rangkaian gagal dikemas kini. Oleh itu, FCN biasanya menggunakan pemberat bukan sifar untuk memastikan pengiraan dan kemas kini kecerunan yang cekap.

Untuk mengelak daripada menggunakan pemalar tunggal untuk memulakan semua pemberat rangkaian saraf (FCN) konvolusi sepenuhnya, kita boleh menggunakan beberapa kaedah yang lebih kompleks. Pendekatan biasa ialah menggunakan pengamulaan rawak, yang memulakan pemberat kepada nilai perpuluhan rawak. Dengan cara ini, setiap neuron akan mempunyai nilai awal yang berbeza semasa proses latihan, memberikan pemberat rangkaian struktur yang lebih kaya. Kaedah lain ialah menggunakan pemberat pra-latihan, iaitu menggunakan pemberat yang telah dilatih pada tugasan lain sebagai nilai awal. Ini boleh memanfaatkan pengetahuan terdahulu untuk mempercepatkan proses latihan rangkaian. Menggunakan gabungan kaedah ini, kami dapat memahami dengan lebih baik pengedaran data input yang kompleks dan meningkatkan prestasi rangkaian.

Terdapat juga fungsi kehilangan, mengambil tanh sebagai contoh Jika kita menggunakan tanh sebagai fungsi pengaktifan, kita perlu memberi perhatian kepada permulaan pemberat. Jika pemberat dimulakan terlalu besar, output setiap lapisan rangkaian akan beransur-ansur menghampiri 1 atau -1. Walau bagaimanapun, jika pemberat dimulakan terlalu kecil, keluaran setiap lapisan akan beransur-ansur menghampiri 0. Kedua-dua situasi mungkin membawa kepada masalah kecerunan yang hilang. Oleh itu, kita memerlukan kaedah permulaan berat yang sesuai untuk menyelesaikan masalah ini.

Untuk menyelesaikan masalah ini, kami berharap ada cara untuk memulakan pemberat setiap lapisan untuk mengekalkan perubahan. Ringkasnya, kami ingin memastikan bahawa perubahan dalam input setiap lapisan adalah konsisten dengan perubahan dalam output.

Atas ialah kandungan terperinci Aplikasi permulaan berat dalam rangkaian saraf konvolusi sepenuhnya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!