Bagaimanakah rangkaian sisa dalam mengatasi masalah kecerunan yang hilang?
Rangkaian sisa ialah model pembelajaran mendalam yang popular yang menyelesaikan masalah kecerunan yang hilang dengan memperkenalkan blok sisa. Artikel ini bermula daripada punca penting masalah kecerunan yang hilang dan menerangkan secara terperinci penyelesaian kepada rangkaian sisa.
1. Sebab penting untuk masalah kecerunan yang hilang
Dalam rangkaian neural dalam, output setiap lapisan dikira dengan mendarabkan input lapisan sebelumnya dengan matriks berat dan mengiranya melalui fungsi pengaktifan . Apabila bilangan lapisan rangkaian bertambah, output setiap lapisan akan dipengaruhi oleh output lapisan sebelumnya. Ini bermakna walaupun perubahan kecil dalam matriks berat dan fungsi pengaktifan akan memberi kesan kepada output keseluruhan rangkaian. Dalam algoritma perambatan belakang, kecerunan digunakan untuk mengemas kini berat rangkaian. Pengiraan kecerunan memerlukan melepasi kecerunan lapisan seterusnya ke lapisan sebelumnya melalui peraturan rantai. Oleh itu, kecerunan lapisan sebelumnya juga akan mempengaruhi pengiraan kecerunan. Kesan ini terkumpul apabila pemberat dikemas kini dan disebarkan ke seluruh rangkaian semasa latihan. Oleh itu, setiap lapisan dalam rangkaian saraf yang mendalam saling berkaitan, dan output dan kecerunannya mempengaruhi satu sama lain. Ini memerlukan kami untuk mempertimbangkan dengan teliti pemilihan pemberat dan fungsi pengaktifan setiap lapisan, serta kaedah pengiraan dan penghantaran kecerunan semasa mereka bentuk dan melatih rangkaian, untuk memastikan rangkaian dapat belajar dan menyesuaikan diri dengan tugas dan data yang berbeza dengan berkesan.
Dalam rangkaian neural dalam, apabila terdapat banyak lapisan rangkaian, kecerunan sering "hilang" atau "meletup". Sebab mengapa kecerunan hilang ialah apabila derivatif fungsi pengaktifan kurang daripada 1, kecerunan akan mengecut secara beransur-ansur, menyebabkan kecerunan lapisan seterusnya menjadi lebih kecil dan akhirnya tidak dapat dikemas kini, menyebabkan rangkaian tidak dapat untuk belajar. Sebab letupan kecerunan adalah apabila derivatif fungsi pengaktifan lebih besar daripada 1, kecerunan akan meningkat secara beransur-ansur, menyebabkan kecerunan lapisan selanjutnya menjadi lebih besar, akhirnya menyebabkan berat rangkaian melimpah, dan juga menyebabkan rangkaian menjadi tidak dapat belajar.
2. Penyelesaian Rangkaian Sisa
Rangkaian sisa menyelesaikan masalah kecerunan lenyap dengan memperkenalkan blok sisa. Di antara setiap lapisan rangkaian, blok baki menambah input terus ke output, menjadikannya lebih mudah bagi rangkaian untuk mempelajari pemetaan identiti. Reka bentuk sambungan rentas lapisan ini membolehkan kecerunan merambat dengan lebih baik dan berkesan mengurangkan fenomena kehilangan kecerunan. Penyelesaian sedemikian boleh meningkatkan kecekapan latihan dan prestasi rangkaian.
Secara khusus, struktur x blok baki mewakili input, F(x) mewakili pemetaan yang diperoleh melalui pembelajaran rangkaian, dan H(x) mewakili pemetaan identiti. Keluaran blok baki ialah H(x)+F(x), iaitu input ditambah pemetaan yang dipelajari.
Kelebihan ini ialah apabila rangkaian mempelajari pemetaan identiti, F(x) ialah 0, dan output blok baki adalah sama dengan input, iaitu, H(x)+0=H( x ). Ini mengelakkan masalah kecerunan lenyap kerana walaupun kecerunan F(x) ialah 0, kecerunan H(x) masih boleh dihantar ke lapisan sebelumnya melalui sambungan rentas lapisan, sekali gus mencapai aliran kecerunan yang lebih baik.
Selain itu, rangkaian sisa juga menggunakan teknologi seperti "penormalan batch" dan "pre-activation" untuk meningkatkan lagi prestasi dan kestabilan rangkaian. Antaranya, penormalan kelompok digunakan untuk menyelesaikan masalah kehilangan kecerunan dan letupan kecerunan, manakala pra-pengaktifan boleh memperkenalkan ketaklinearan dengan lebih baik dan meningkatkan keupayaan ekspresif rangkaian.
Atas ialah kandungan terperinci Bagaimanakah rangkaian sisa dalam mengatasi masalah kecerunan yang hilang?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Memanfaatkan kuasa AI di peranti: Membina CLI Chatbot Peribadi Pada masa lalu, konsep pembantu AI peribadi kelihatan seperti fiksyen sains. Bayangkan Alex, seorang peminat teknologi, bermimpi seorang sahabat AI yang pintar, yang tidak bergantung

Pelancaran AI4MH mereka berlaku pada 15 April, 2025, dan Luminary Dr. Tom Insel, M.D., pakar psikiatri yang terkenal dan pakar neurosains, berkhidmat sebagai penceramah kick-off. Dr. Insel terkenal dengan kerja cemerlangnya dalam penyelidikan kesihatan mental dan techno

"Kami mahu memastikan bahawa WNBA kekal sebagai ruang di mana semua orang, pemain, peminat dan rakan kongsi korporat, berasa selamat, dihargai dan diberi kuasa," kata Engelbert, menangani apa yang telah menjadi salah satu cabaran sukan wanita yang paling merosakkan. Anno

Pengenalan Python cemerlang sebagai bahasa pengaturcaraan, terutamanya dalam sains data dan AI generatif. Manipulasi data yang cekap (penyimpanan, pengurusan, dan akses) adalah penting apabila berurusan dengan dataset yang besar. Kami pernah meliputi nombor dan st

Sebelum menyelam, kaveat penting: Prestasi AI adalah spesifik yang tidak ditentukan dan sangat digunakan. Dalam istilah yang lebih mudah, perbatuan anda mungkin berbeza -beza. Jangan ambil artikel ini (atau lain -lain) sebagai perkataan akhir -sebaliknya, uji model ini pada senario anda sendiri

Membina portfolio AI/ML yang menonjol: Panduan untuk Pemula dan Profesional Mewujudkan portfolio yang menarik adalah penting untuk mendapatkan peranan dalam kecerdasan buatan (AI) dan pembelajaran mesin (ML). Panduan ini memberi nasihat untuk membina portfolio

Hasilnya? Pembakaran, ketidakcekapan, dan jurang yang melebar antara pengesanan dan tindakan. Tak satu pun dari ini harus datang sebagai kejutan kepada sesiapa yang bekerja dalam keselamatan siber. Janji Agentic AI telah muncul sebagai titik perubahan yang berpotensi. Kelas baru ini

Impak segera berbanding perkongsian jangka panjang? Dua minggu yang lalu Openai melangkah ke hadapan dengan tawaran jangka pendek yang kuat, memberikan akses kepada pelajar A.S. dan Kanada.


Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

MinGW - GNU Minimalis untuk Windows
Projek ini dalam proses untuk dipindahkan ke osdn.net/projects/mingw, anda boleh terus mengikuti kami di sana. MinGW: Port Windows asli bagi GNU Compiler Collection (GCC), perpustakaan import yang boleh diedarkan secara bebas dan fail pengepala untuk membina aplikasi Windows asli termasuk sambungan kepada masa jalan MSVC untuk menyokong fungsi C99. Semua perisian MinGW boleh dijalankan pada platform Windows 64-bit.

PhpStorm versi Mac
Alat pembangunan bersepadu PHP profesional terkini (2018.2.1).

DVWA
Damn Vulnerable Web App (DVWA) ialah aplikasi web PHP/MySQL yang sangat terdedah. Matlamat utamanya adalah untuk menjadi bantuan bagi profesional keselamatan untuk menguji kemahiran dan alatan mereka dalam persekitaran undang-undang, untuk membantu pembangun web lebih memahami proses mengamankan aplikasi web, dan untuk membantu guru/pelajar mengajar/belajar dalam persekitaran bilik darjah Aplikasi web keselamatan. Matlamat DVWA adalah untuk mempraktikkan beberapa kelemahan web yang paling biasa melalui antara muka yang mudah dan mudah, dengan pelbagai tahap kesukaran. Sila ambil perhatian bahawa perisian ini

Pelayar Peperiksaan Selamat
Pelayar Peperiksaan Selamat ialah persekitaran pelayar selamat untuk mengambil peperiksaan dalam talian dengan selamat. Perisian ini menukar mana-mana komputer menjadi stesen kerja yang selamat. Ia mengawal akses kepada mana-mana utiliti dan menghalang pelajar daripada menggunakan sumber yang tidak dibenarkan.

VSCode Windows 64-bit Muat Turun
Editor IDE percuma dan berkuasa yang dilancarkan oleh Microsoft