Alat visualisasi yang boleh mencari pepijat rangkaian saraf, disertakan dalam sub-jurnal Alam

Baru-baru ini, sub-jurnal "Nature" menyertakan hasil penyelidikan yang boleh mengetahui di mana rangkaian saraf menjadi salah. Pasukan penyelidik menyediakan kaedah visualisasi yang menggunakan topologi untuk menerangkan hubungan antara keputusan inferens rangkaian saraf dan klasifikasinya. Keputusan ini boleh membantu penyelidik menyimpulkan keadaan khusus kekeliruan semasa penaakulan rangkaian saraf dan menjadikan sistem kecerdasan buatan lebih telus. Penyelidik mendedahkan titik kegagalan dalam inferens rangkaian saraf

Memerhati pancang boleh membantu mengenal pasti titik kegagalan dalam sistem AI.

1. Kurang ketelusan dalam proses penaakulan rangkaian saraf:
   Rangkaian saraf pandai menyelesaikan masalah, tetapi proses penaakulannya adalah legap, menimbulkan kebimbangan tentang kebolehpercayaan.
   • Penyelidikan baharu menyediakan cara untuk menemui sumber ralat dalam rangkaian saraf.
2. Ciri-ciri "kotak hitam" rangkaian saraf:
   Sukar untuk rangkaian saraf memahami cara menyelesaikan masalah, menjadikannya sukar untuk menilai ketepatan jawapan.
   • Penyelidik tidak dapat mengesan proses membuat keputusan rangkaian saraf untuk satu sampel.
3. Visualkan keputusan keputusan:
   Daripada menjejaki keputusan sampel individu, para penyelidik menggambarkan hubungan antara keputusan keputusan rangkaian saraf untuk keseluruhan pangkalan data dan sampel.
   • Ini membantu mengenal pasti imej dengan kebarangkalian berbilang kelas yang lebih tinggi.
4. Analisis data topologi:
   Penyelidik menggunakan topologi untuk merancang hubungan antara keputusan inferens dan pengelasan.
   • Alat analisis data topologi membantu mengenal pasti persamaan antara set data.
   • Alat ini telah digunakan untuk menganalisis hubungan antara subkumpulan kanser payudara dan gen.
Pautan kertas: https://www.nature.com/articles/s42256-023-00749-8

5. Dalam rajah hubungan yang dijana berdasarkan hasil penyelidikan baharu:
   • mewakili titik neural
   rangkaian Kumpulan imej yang dianggap berkaitan
   • Peta kategori berbeza diwakili oleh warna yang berbeza

   • Semakin dekat jarak antara titik, semakin serupa rangkaian neural menganggap setiap kumpulan imej

   Kebanyakan peta ini menunjukkan satu titik warna kumpulan.

Dua titik bertindih warna berbeza menunjukkan imej yang mempunyai kebarangkalian tinggi untuk tergolong dalam berbilang kategori. "Pendekatan kami dapat membina gambar rajah perhubungan seperti peta yang mengezum masuk pada kawasan tertentu data," kata Gleich "Kawasan ini selalunya merupakan tempat di mana sempadan kategori tertentu tidak jelas, di mana penyelesaiannya mungkin tidak begitu. jelas. Walau bagaimanapun, ia boleh menyerlahkan ramalan data tertentu yang patut dikaji lebih lanjut. Peta yang dihasilkan oleh kaedah baharu boleh menunjukkan kawasan yang tidak boleh dikelaskan oleh rangkaian. Kaedah ini menyediakan cara untuk "penyelidik menggunakan cara pemikiran manusia semula jadi untuk membuat spekulasi mengenai penaakulan rangkaian saraf." "Ini membolehkan kami meramalkan bagaimana rangkaian akan bertindak balas terhadap input baru berdasarkan apa yang telah kami ketahui, " kata Gleich pasukan itu mendapati bahawa rangkaian saraf sangat terdedah kepada corak yang mengelirukan dalam kategori seperti sinar-X dada, urutan genetik dan. pakaian. Sebagai contoh, apabila rangkaian diuji pada pangkalan data Imagenette (subset ImageNet), ia berulang kali mengklasifikasikan gambar kereta sebagai pemain pita. Mereka mendapati ini adalah kerana imej itu diambil daripada penyenaraian beli-belah dalam talian dan mengandungi label untuk peralatan audio kereta.
Pendekatan baharu pasukan membantu mendedahkan "apa yang salah." "Menganalisis data pada tahap ini membolehkan saintis beralih daripada hanya membuat sekumpulan ramalan berguna pada data baharu kepada pemahaman mendalam tentang cara rangkaian saraf mungkin memproses data mereka," kata Gleich "Alat kami nampaknya sangat Ia bagus untuk membantu mencari jika data latihan itu sendiri mengandungi ralat,” kata Gleich. “Orang ramai melakukan kesilapan apabila melabelkan data secara manual.”
Potensi penggunaan untuk strategi analisis ini mungkin termasuk aplikasi rangkaian saraf yang penting. Pertimbangkan, sebagai contoh, aplikasi rangkaian saraf dalam penjagaan kesihatan atau perubatan untuk mengkaji sepsis atau kanser kulit.
Pengkritik berpendapat bahawa kerana kebanyakan rangkaian saraf dilatih mengenai keputusan masa lalu yang mencerminkan berat sebelah yang sedia ada terhadap kumpulan manusia, sistem AI akan akhirnya mereplikasi kesilapan lalu. Mencari cara untuk "memahami berat sebelah atau stereotaip dalam ramalan" menggunakan alat baharu boleh menjadi kemajuan yang ketara, kata Gleich.
Gleich berkata alat baharu itu boleh digunakan dengan rangkaian saraf untuk menjana ramalan khusus daripada set data kecil, seperti "sama ada mutasi genetik berkemungkinan berbahaya." Tetapi setakat ini, penyelidik tidak mempunyai cara untuk menerapkannya pada model bahasa besar atau model penyebaran.
Untuk maklumat lanjut, sila rujuk kertas asal.
Kandungan rujukan:
https://spectrum.ieee.org/ai-mistakes
https://www.cs.purdue.edu/homes/liu1740/
https://www.cs.purdue.edu/homes/ tamaldey/
https://www.cs.purdue.edu/homes/dgleich/

Atas ialah kandungan terperinci Alat visualisasi yang boleh mencari pepijat rangkaian saraf, disertakan dalam sub-jurnal Alam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!