Tutorial Rangkaian Neural Berulang (RNN)

Rangkaian Neural Berulang (RNNS): Panduan Komprehensif

Rangkaian Neural Berulang (RNNs) adalah jenis rangkaian saraf buatan (ANN) yang kuat yang digunakan dalam aplikasi seperti Siri Apple dan carian suara Google. Keupayaan unik mereka untuk mengekalkan input masa lalu melalui memori dalaman menjadikannya sesuai untuk tugas -tugas seperti ramalan harga saham, penjanaan teks, transkripsi, dan terjemahan mesin. Tidak seperti rangkaian saraf tradisional di mana input dan output adalah bebas, output RNN bergantung kepada unsur -unsur sebelumnya dalam urutan. Selain itu, parameter saham RNNS merentasi lapisan rangkaian, mengoptimumkan berat badan dan pelarasan bias semasa keturunan kecerunan.

Rajah di atas menggambarkan RNN asas. Dalam senario ramalan harga saham menggunakan data seperti [45, 56, 45, 49, 50, ...], setiap input (x0 hingga XT) menggabungkan nilai masa lalu. Sebagai contoh, x0 akan menjadi 45, x1 akan menjadi 56, dan nilai -nilai ini menyumbang kepada meramalkan elemen urutan seterusnya.

Bagaimana fungsi RNN

Dalam RNN, kitaran maklumat melalui gelung, menjadikan output fungsi kedua -dua input semasa dan sebelumnya.

Lapisan input (x) memproses input awal, lulus ke lapisan tengah (a), yang terdiri daripada pelbagai lapisan tersembunyi dengan fungsi pengaktifan, berat, dan bias. Parameter ini dikongsi di lapisan tersembunyi, mewujudkan satu lapisan gelung tunggal dan bukannya pelbagai lapisan yang berbeza. RNNs menggunakan backpropagation melalui masa (BPTT) dan bukannya backpropagation tradisional untuk mengira kecerunan. Kesalahan BPTT pada setiap langkah kerana parameter bersama.

Jenis RNNs

RNN menawarkan fleksibiliti dalam panjang input dan output, tidak seperti rangkaian feedforward dengan input dan output tunggal. Kesesuaian ini membolehkan RNNs mengendalikan pelbagai tugas, termasuk penjanaan muzik, analisis sentimen, dan terjemahan mesin. Empat jenis utama wujud:

• Satu-ke-satu: Rangkaian saraf mudah yang sesuai untuk masalah input/output tunggal.
• One-to-Many: memproses input tunggal untuk menghasilkan pelbagai output (misalnya, imej imej).
• Ramai-ke-satu: Mengambil beberapa input untuk meramalkan satu output (contohnya, klasifikasi sentimen).
• Ramai-ke-banyak: Mengendalikan pelbagai input dan output (contohnya, terjemahan mesin).

Kursus pembelajaran mesin yang disyorkan

Ketahui lebih lanjut mengenai RNNS untuk pemodelan bahasa

Terokai Pengenalan Pembelajaran Deep di Python

CNNS vs RNNS

Rangkaian Neural Convolutional (CNNS) adalah pemprosesan data spatial rangkaian feedforward (seperti imej), yang biasa digunakan dalam penglihatan komputer. Rangkaian saraf mudah berjuang dengan dependensi piksel imej, manakala CNN, dengan lapisan convolutional, relu, pengumpulan, dan sepenuhnya bersambung, cemerlang di kawasan ini.

Perbezaan utama:

• CNNs mengendalikan data jarang (imej), manakala RNN menguruskan siri masa dan data berurutan.
• CNNS menggunakan backpropagation standard, RNNs menggunakan BPTT.
• CNN mempunyai input/output terhingga; RNN adalah fleksibel.
• CNNs adalah feedforward; RNNs menggunakan gelung untuk data berurutan.
• CNN digunakan untuk pemprosesan imej/video; RNNS untuk analisis pertuturan/teks.

Batasan RNN

RNN mudah menghadapi dua cabaran utama yang berkaitan dengan kecerunan:

1. Kecerunan Vanishing: Kecerunan menjadi terlalu kecil, menghalang kemas kini parameter dan pembelajaran.
2. Kecerunan meletup: Kecerunan menjadi terlalu besar, menyebabkan ketidakstabilan model dan masa latihan yang lebih lama.

Penyelesaian termasuk mengurangkan lapisan tersembunyi atau menggunakan seni bina canggih seperti LSTM dan GRU.

Arkitek RNN ​​Lanjutan

RNN mudah mengalami batasan memori jangka pendek. LSTM dan GRU alamat ini dengan membolehkan pengekalan maklumat dalam tempoh yang panjang.

• Memori jangka pendek yang panjang (LSTM): RNN maju yang direka untuk mengurangkan kecerunan lenyap/meletup. Empat lapisan berinteraksi memudahkan pengekalan ingatan jangka panjang, menjadikannya sesuai untuk terjemahan mesin, sintesis pertuturan, dan banyak lagi.

• Unit berulang Gated (GRU): Variasi LSTM yang lebih mudah, menggunakan pintu kemas kini dan tetapkan semula untuk menguruskan aliran maklumat. Senibina yang diselaraskannya sering membawa kepada latihan yang lebih cepat berbanding LSTM.

Ramalan Harga Saham MasterCard Menggunakan LSTM & Gru

Bahagian ini memperincikan projek menggunakan LSTM dan GRU untuk meramalkan harga saham MasterCard. Kod ini menggunakan perpustakaan seperti pandas, numpy, matplotlib, scikit-learn, dan tensorflow.

(Contoh kod terperinci dari input asal ditinggalkan di sini untuk keringkasan. Langkah -langkah teras diringkaskan di bawah.)

1. Analisis data: Import dan bersihkan dataset saham MasterCard.
2. Data Preprocessing: Pecahkan data ke dalam set latihan dan ujian, skala menggunakan MinMaxScaler , dan Reshape untuk input model.
3. Model LSTM: Membina dan melatih model LSTM.
4. Hasil LSTM: Menilai prestasi model LSTM menggunakan RMSE.
5. Model Gru: Membina dan melatih model GRU dengan seni bina yang serupa.
6. Hasil GRU: Menilai prestasi model GRU menggunakan RMSE.
7. Kesimpulan: Bandingkan prestasi model LSTM dan GRU.

Kesimpulan

Rangkaian CNN-RNN hibrid semakin digunakan untuk tugas yang memerlukan pemahaman spatial dan temporal. Tutorial ini memberikan pemahaman asas tentang RNN, batasan mereka, dan penyelesaian yang ditawarkan oleh seni bina canggih seperti LSTM dan GRU. Projek ini menunjukkan permohonan LSTM dan GRU untuk ramalan harga saham, menonjolkan prestasi unggul Gru dalam kes tertentu ini. Projek lengkap boleh didapati di ruang kerja DataCamp.

https://www.php.cn/link/8708107b2ff5de15d0244471ae041fdb ingat untuk menggantikan https://www.php.cn/link/cc6a6632b380f3f6a1c54b1222cd96c2 URL imej diandaikan betul dan boleh diakses.

Atas ialah kandungan terperinci Tutorial Rangkaian Neural Berulang (RNN). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!