Rangkaian saraf yang mengatur sendiri yang "berkembang" seperti rangkaian biologi dan mempunyai "keplastikan struktur" ada di sini

Biologi Rangkaian NeuralCiri penting ialah tahap keplastikan yang tinggi, yang menjadikan organisma semulajadi mempunyai kebolehsuaian yang sangat baik, dan keupayaan ini mempengaruhi kekuatan sinaptik dan topologi sistem saraf.

Walau bagaimanapun, rangkaian saraf tiruan direka terutamanya sebagai struktur statik, bersambung sepenuhnya, yang boleh menjadi sangat rapuh dalam menghadapi perubahan persekitaran dan input baharu. Walaupun penyelidik telah menjalankan penyelidikan yang meluas ke dalam pembelajaran dalam talian dan meta-pembelajaran, sistem rangkaian neural terkini masih menggunakan pembelajaran luar talian kerana ini lebih mudah apabila digabungkan dengan perambatan belakang.

Jadi, bolehkah rangkaian saraf tiruan juga mempunyai sifat yang serupa dengan keplastikan yang tinggi?

Pasukan penyelidik dari Universiti Teknologi Maklumat di Copenhagen mencadangkan rangkaian neural yang mengatur sendiri - LNDP, yang boleh mencapai keplastikan sinaptik dan struktur dalam cara yang bergantung kepada aktiviti dan ganjaran.

• Pautan kertas: https://arxiv.org/pdf/2406.09787

• Pautan projek: https://github.com/erwanplantec/LNDP

Penyelidikan Pengenalan

Pada tahun 2023, Najarro et al mencadangkan model Neurodevelopmental Programme (NDP). Tetapi NDP terhad dalam masa ke peringkat pra-alam sekitar. Oleh itu, pasukan penyelidik dari Universiti Teknologi Maklumat Copenhagen menangani had ini dengan memperluaskan rangka kerja NDP.

Secara khusus, pasukan penyelidik mencadangkan mekanisme yang boleh mencapai keplastikan dan perubahan struktur semasa kitaran hayat ejen - LNDP (Program Pembangunan Neural Sepanjang Hayat). Mekanisme ini dilaksanakan dengan melakukan pengiraan tempatan, bergantung pada aktiviti setempat setiap neuron dalam rangkaian saraf tiruan dan fungsi ganjaran global persekitaran. LNDP menjadikan rangkaian saraf tiruan plastik dan merapatkan peraturan keplastikan pengekodan pembangunan tidak langsung dan meta-pembelajaran.

LNDP terdiri daripada satu set komponen berparameter yang direka untuk mentakrifkan dinamik saraf dan sinaptik dan menjadikan rangkaian saraf tiruan secara struktur plastik (iaitu sinaps boleh ditambah atau dikeluarkan secara dinamik).

Diinspirasikan oleh aktiviti spontan (SA) dalam organisma, pasukan penyelidik mengembangkan lagi sistem dan memperkenalkan mekanisme yang boleh mencapai pembangunan pra-pengalaman, menggunakan fungsi neuron deria yang mudah dan boleh dipercayai untuk model SA, yang membolehkan beberapa komponen digunakan semula.

Pasukan penyelidik mencadangkan contoh LNDP berdasarkan lapisan Transformer Graf (Dwivedi dan Bresson, 2021) dan mengoptimumkan LNDP menggunakan strategi evolusi penyesuaian matriks kovarian (CMA-ES) pada satu set tugas pembelajaran pengukuhan.

Secara khusus, kajian ini menggunakan tiga tugas kawalan klasik (Cartpole, Acrobot, Pendulum) dan tugas pengumpulan (Foraging) dengan dinamik tidak pegun, yang memerlukan ejen mempunyai kebolehsuaian kitaran hayat.

Ringkasnya, pasukan penyelidik menunjukkan bahawa bermula daripada rangkaian neural yang disambungkan secara rawak (atau kosong), LNDP mengatur sendiri untuk membentuk rangkaian berfungsi dalam cara yang bergantung kepada aktiviti dan pengalaman untuk menyelesaikan tugas kawalan dengan berkesan.

Kajian ini juga menunjukkan bahawa keplastikan struktur boleh meningkatkan hasil dalam persekitaran yang memerlukan penyesuaian pantas atau mempunyai dinamik tidak pegun yang memerlukan penyesuaian berterusan. Tambahan pula, kajian ini menunjukkan keberkesanan peringkat perkembangan yang didorong oleh aktiviti spontan pra-persekitaran dalam organisasi kendiri rangkaian ke dalam unit berfungsi.

Hasil eksperimen

Pasukan penyelidik menguji perbezaan antara model SP (model dengan keplastikan struktur) dan model bukan SP (model tanpa keplastikan struktur) pada semua tugasan, dan hasilnya ditunjukkan dalam Rajah 2 di bawah.

🎜🎜

Mengenai tugas pengumpulan (Foraging) dengan dinamik tidak pegun, pasukan penyelidik mendapati bahawa model SP sentiasa mencapai kecergasan purata yang lebih tinggi daripada model bukan SP, dan kedua-duanya mencapai kecergasan maksimum yang sama. Ini menunjukkan bahawa SP mempunyai kebolehsuaian yang lebih baik dalam situasi tidak pegun.

Dalam persekitaran CartPole, amat sukar bagi model tanpa SA untuk mencapai prestasi yang baik dari awal, manakala model dengan SA menunjukkan kemahiran yang wujud dalam menyelesaikan tugasan dari awal. Ini menunjukkan keupayaan model untuk mencapai rangkaian berfungsi sasaran dengan cara yang tidak bergantung kepada ganjaran dan mengatur diri.

Untuk butiran penyelidikan lanjut, sila rujuk kertas asal.

Atas ialah kandungan terperinci Rangkaian saraf yang mengatur sendiri yang "berkembang" seperti rangkaian biologi dan mempunyai "keplastikan struktur" ada di sini. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!