Kajian semula pengiraan kumpulan sampel dalam pembelajaran mesin

Pengkomputeran takungan (RC) ialah rangka kerja pengkomputeran yang menggunakan rangkaian saraf berulang Tidak seperti rangkaian saraf tradisional, ia hanya mengemas kini beberapa parameter sambil memilih dan membetulkan parameter lain secara rawak.

Kolam rizab ialah sistem tak linear tetap yang memetakan isyarat input ke ruang pengiraan dimensi yang lebih tinggi melalui dinamiknya. Takungan boleh dianggap sebagai kotak hitam Selepas isyarat masukan disalurkan semula ke takungan, mekanisme bacaan mudah dilatih untuk membaca keadaan takungan dan memetakannya kepada keluaran yang diperlukan.

Memandangkan dinamik takungan adalah tetap, latihan hanya berlaku semasa fasa pembacaan.

Pengiraan kolam rizab tradisional perlu memenuhi dua syarat: ia terdiri daripada unit tak linear bebas dan boleh menyimpan maklumat.

Pengiraan kolam simpanan pada asasnya ialah kaedah yang digunakan untuk menjadikan algoritma pembelajaran mesin berjalan lebih pantas.

"Reservoir" dalam istilah merujuk kepada sistem kuasa. Sistem dinamik diwakili oleh fungsi matematik yang menerangkan bagaimana titik dalam ruang berubah mengikut masa. Mengetahui ini membolehkan anda meramalkan lokasi titik dalam ruang.

Kolam rizab terdiri daripada beberapa unit yang disambungkan secara membulat secara rawak Pengiraan kumpulan rizab menggunakan rangkaian saraf berulang dan bukannya mengemas kini semua parameter rangkaian, ia hanya mengemas kini beberapa parameter dan memastikan parameter lain tidak berubah selepas pemilihan rawak.

Rangka kerja pengiraan kolam rizab adalah serupa dengan rangka kerja rangkaian neural rekursif, mesin keadaan cecair dan model rangkaian neural rekursif lain membentuk rangka kerja pengiraan kolam simpanan pengiraan untuk memproses Sangat berkesan untuk tugasan dengan data temporal atau urutan.

Tujuan pengiraan kolam simpanan

Pengiraan kolam simpanan adalah untuk mengubah input tak linear secara berurutan menjadi ruang berdimensi tinggi supaya ciri-ciri input boleh dibaca dengan cara yang cekap melalui algoritma pembelajaran yang mudah . Selain menggunakan rangkaian neural berulang, sistem dinamik lain juga boleh digunakan sebagai kolam simpanan. Matlamat pengkomputeran kumpulan simpanan adalah untuk membina sistem yang boleh memproses maklumat dan data dengan lebih pantas dengan kos pembelajaran yang lebih rendah. Ini amat penting dalam kes pembelajaran mesin, kerana penggunaan kuasa selalunya tinggi apabila melatih set data yang besar. .

1. Rangkaian gema kontekstual

Dalam rangkaian gema kontekstual, lapisan input memasukkan isyarat ke dalam sistem dinamik dimensi tinggi, dan maklumat dalam sistem dinamik dimensi tinggi ini dibaca oleh perceptron lapisan tunggal yang boleh dilatih. Ia mempunyai dua jenis sistem dinamik: satu ialah rangkaian saraf berulang dengan pemberat rawak tetap, dan sistem dinamik yang lain ialah sistem resapan tindak balas berterusan yang diilhamkan oleh model morfogenesis Turing.

• 2. Rangkaian Echo State
• Rangkaian keadaan gema mempunyai lapisan tersembunyi yang jarang disambungkan. Kesambungan lapisan tersembunyi biasanya kurang daripada 10%. Percubaan untuk memacu rangkaian saraf berulang tetap berat rawak yang lebih besar dengan isyarat input, mendorong isyarat tindak balas tak linear dalam setiap neuron dalam takungan, yang kemudiannya disambungkan kepada yang dikehendaki menggunakan gabungan linear yang boleh dilatih bagi semua isyarat keluaran isyarat tindak balas.
• 3. Mesin keadaan cecair

Mesin keadaan cecair (LSM) menggunakan rangkaian neural nadi. LSM terdiri daripada sejumlah besar nod atau neuron. Setiap neuron menerima input yang berubah-ubah masa daripada neuron lain dan sumber luaran. Disebabkan oleh sifat sambungan yang berulang, input yang berubah-ubah masa menjadi corak pengaktifan spatiotemporal dalam nod rangkaian. Corak spatiotemporal pengaktifan ini kemudiannya dibaca oleh unit diskriminasi linear.

4. Pengiraan Transient Bukan Linear

Apabila isyarat input yang berubah-ubah masa meninggalkan dinamik dalaman sesuatu mekanisme, sisihan ini menyebabkan perubahan sementara atau sementara yang ditunjukkan dalam output peranti.

5. Pengiraan kolam rizab dalam

Dengan kemunculan model pengiraan kolam simpanan dalam, rangka kerja pengiraan kolam rizab mula meluas ke arah pembelajaran mendalam untuk memproses data temporal secara hierarki, dan juga membenarkan kajian tentang gabungan hierarki Peranan dalam RNN.

Atas ialah kandungan terperinci Kajian semula pengiraan kumpulan sampel dalam pembelajaran mesin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!