Memeriksa semula AI, penemuan dan bukti kemunculan simbol konsep dalam rangkaian saraf

Artikel ini memfokuskan kepada dua karya terbaru untuk membincangkan kemunculan konsep simbolik dalam rangkaian saraf, iaitu, "Sama ada perwakilan rangkaian saraf dalam adalah simbolik? "soalan. Jika kita memintas perspektif "peningkatan teknologi aplikasi" dan mengkaji semula AI dari perspektif "pembangunan saintifik", sudah pasti adalah penting untuk membuktikan bahawa fenomena kemunculan simbol dalam model AI adalah sangat penting.

1 Pertama sekali, kebanyakan penyelidikan kebolehtafsiran semasa cuba menerangkan rangkaian saraf sebagai "jelas", "semantik", atau "logik. "model. Walau bagaimanapun, jika kemunculan simbolik rangkaian saraf tidak dapat dibuktikan, dan jika komponen perwakilan intrinsik rangkaian saraf benar-benar mempunyai banyak komponen huru-hara, maka kebanyakan penyelidikan kebolehtafsiran akan kehilangan asas fakta asasnya.

2. Kedua, jika kemunculan simbolik rangkaian saraf tidak dapat dibuktikan, perkembangan pembelajaran mendalam berkemungkinan besar akan terperangkap dalam faktor periferal seperti "struktur", "fungsi kehilangan" , dan tahap "data", dan tidak boleh secara langsung merealisasikan pembelajaran interaktif di peringkat pengetahuan dari peringkat kognitif peringkat tinggi. Pembangunan ke arah ini memerlukan sokongan teori yang lebih bersih dan jelas.

Oleh itu, artikel ini terutamanya memperkenalkannya dari tiga aspek berikut.

1. Bagaimana untuk mentakrifkan konsep simbolik yang dimodelkan oleh rangkaian saraf, supaya dapat menemui fenomena kemunculan simbolik rangkaian saraf dengan pasti.

2. Mengapakah konsep simbolik yang dikira boleh dianggap sebagai konsep yang boleh dipercayai (kecemerlangan, pemadanan universal bagi perwakilan rangkaian saraf, kebolehpindahan, pengelasan, tafsiran kebolehtafsiran sejarah penunjuk).

3 Bagaimana untuk membuktikan kemunculan konsep simbolik - iaitu, secara teori membuktikan bahawa apabila model AI berada di bawah keadaan tertentu (keadaan yang tidak keras), logik perwakilan bagi model AI boleh dinyahbina Utiliti klasifikasi sebilangan kecil konsep simbolik boleh dipindahkan (bahagian ini akan dibincangkan secara terbuka pada akhir April).

Alamat kertas: https://arxiv.org/pdf/2111.06206.pdf

Alamat kertas: https://arxiv.org/pdf/2302.13080.pdf

Penulis kajian termasuk Li Mingjie, pelajar sarjana tahun kedua di Universiti Jiao Tong Shanghai, dan Ren Jie, pelajar kedoktoran tahun ketiga di Universiti Shanghai Jiao Tong Kedua-duanya dan Ren Jie belajar di bawah guru Zhang Quanshi. Pasukan makmal mereka telah melakukan penyelidikan tentang kebolehtafsiran rangkaian saraf sepanjang tahun. Bagi bidang kebolehtafsiran, penyelidik boleh menganalisisnya dari sudut yang berbeza, termasuk menerangkan perwakilan, menerangkan prestasi, agak boleh dipercayai dan munasabah, dan ada yang tidak munasabah. Walau bagaimanapun, jika kita membincangkan lebih lanjut, terdapat dua visi asas untuk penjelasan rangkaian saraf, iaitu "Bolehkah konsep yang dimodelkan oleh rangkaian neural diwakili dengan jelas dan ketat?" > dan "Bolehkah anda menerangkan dengan tepat faktor-faktor yang menentukan prestasi rangkaian saraf? ". Ke arah "menjelaskan konsep yang dimodelkan oleh rangkaian saraf", terdapat isu teras yang mesti dihadapi oleh semua penyelidik - "

Sifat rangkaian saraf Sama ada perwakilan adalah simbolik dan konseptual ”. Sekiranya jawapan kepada soalan ini tidak jelas, maka penyelidikan seterusnya akan menjadi sukar untuk dijalankan - jika perwakilan rangkaian saraf itu sendiri huru-hara, dan kemudian penyelidik memaksa sekumpulan "konsep simbolik" atau "logik kausal" untuk menjelaskan, ini akan Adakah anda datang ke arah yang salah? Andaian perwakilan simbolik rangkaian saraf adalah asas untuk penyelidikan mendalam dalam bidang ini, tetapi demonstrasi isu ini sering membuat orang tidak dapat memulakan. Naluri pertama kebanyakan penyelidik tentang rangkaian saraf ialah "Ia tidak boleh menjadi simbolik, bukan?" Dalam kertas kerja "Berhenti menerangkan model pembelajaran mesin kotak hitam untuk keputusan yang mempunyai kepentingan tinggi dan sebaliknya gunakan model yang boleh ditafsirkan" [3] yang ditulis oleh Cynthia et al., orang ramai tersilap memikirkan penjelasan post-hoc mengenai rangkaian saraf.

Jadi, perwakilan dalaman rangkaian saraf benar-benar sangat mengelirukan? Daripada jelas, jarang, dan simbolik? Memfokuskan pada isu ini, kami mentakrifkan interaksi permainan [4, 5], membuktikan kesesakan perwakilan rangkaian saraf [6], dan mengkaji ciri-ciri perwakilan rangkaian saraf bagi konsep visual [7, 8], dengan itu membuktikan bahawa konsep interaksi adalah berkait rapat dengan rangkaian saraf Hubungan antara transformasi dan keteguhan [9, 10, 11, 12] telah diperbaiki, dan nilai Shapley telah dipertingkatkan [13]. pinggiran teras "perwakilan simbolik" dan tidak dapat menerokainya secara langsung 🎜>Sama ada perwakilan rangkaian saraf adalah simbolik.

Mari kita bincangkan tentang kesimpulan dahulu - Dalam kebanyakan kes, perwakilan rangkaian saraf adalah jelas, jarang dan simbolik . Terdapat banyak bukti teori dan banyak demonstrasi eksperimen di sebalik kesimpulan ini. Dari segi teori, penyelidikan semasa kami telah membuktikan beberapa sifat yang boleh menyokong "penyimbolan", tetapi bukti semasa tidak mencukupi untuk memberikan jawapan yang ketat dan jelas kepada "perwakilan perlambangan". Dalam beberapa bulan akan datang, kami akan mempunyai bukti yang lebih ketat dan komprehensif.

Bagaimana untuk mentakrifkan konsep yang dimodelkan oleh rangkaian saraf

Sebelum menganalisis rangkaian saraf, kita perlu menjelaskan "bagaimana untuk menentukan konsep yang dimodelkan oleh rangkaian". Malah, terdapat kajian yang berkaitan tentang isu ini sebelum ini [14,15], dan keputusan eksperimen adalah agak cemerlang - Walau bagaimanapun, kami percaya bahawa takrifan "konsep" secara teorinya harus " Tegas ” jaminan matematik.

Oleh itu, kami mentakrifkan indeks I(S) dalam kertas [1] untuk mengukur utiliti konsep S untuk output rangkaian, di mana S Merujuk kepada set semua pembolehubah input yang membentuk konsep. Sebagai contoh, diberikan rangkaian saraf dan ayat input x = "Saya rasa dia adalah tangan hijau.", setiap perkataan boleh dianggap sebagai salah satu pembolehubah input rangkaian, dan tiga perkataan "a" dan "hijau" dalam ayat , "tangan" boleh membentuk konsep berpotensi S={a, hijau, tangan}. Setiap konsep S mewakili hubungan "DAN" antara pembolehubah input dalam S: Konsep ini dicetuskan apabila dan hanya jika semua pembolehubah input dalam S muncul, sekali gus menyumbang I kepada keluaran rangkaian (S) Utiliti. Apabila mana-mana pembolehubah dalam S terhalang, utiliti I (S) dikeluarkan daripada output rangkaian asal. Contohnya, untuk konsep S={a, green, hand}, jika perkataan "hand" dalam ayat input disekat, maka konsep ini tidak akan dicetuskan, dan output rangkaian tidak akan mengandungi utiliti konsep ini. Saya(S).

Kami menunjukkan bahawa output rangkaian saraf sentiasa boleh dibahagikan kepada jumlah utiliti semua konsep yang dicetuskan. Iaitu, secara teori, untuk sampel yang mengandungi n unit input, terdapat paling banyak

kaedah oklusi yang berbeza, Kami sentiasa boleh menggunakan utiliti "sebilangan kecil konsep" untuk rangkaian neural yang "sesuai dengan tepat" "semua jenis

jenis " berbeza Nilai output pada sampel oklusi membuktikan "ketegasan" I (S) . Rajah di bawah memberikan contoh mudah.

Selanjutnya, kami membuktikan I (S ) memenuhi 7 sifat dalam teori permainan , yang seterusnya menggambarkan kebolehpercayaan penunjuk ini.

Selain itu, kami juga membuktikan bahawa konsep interaksi permainan I (S) boleh menerangkan mekanisme asas sejumlah besar penunjuk klasik dalam teori permainan, seperti nilai Shapley [16], indeks interaksi Shapley [17]. ], dan indeks interaksi Shapley- Taylor [18]. Secara khusus, kita boleh mewakili ketiga-tiga penunjuk ini sebagai bentuk jumlah linear yang berbeza bagi konsep interaksi.

Malah, kerja awal pasukan penyelidik telah menentukan nilai penanda aras optimum nilai Shapley berdasarkan penunjuk konsep interaksi permainan[13] , dan meneroka "konsep visual prototaip" dan "estetik"nya yang dimodelkan oleh rangkaian saraf visual [8].

Sama ada rangkaian saraf memodelkan representasi konsep yang jelas dan simbolik

Dengan penunjuk ini, kami meneroka lebih lanjut soalan teras yang dinyatakan di atas: sama ada rangkaian saraf Boleh mengosongkan, perwakilan simbolik, dan konseptual benar-benar diringkaskan daripada tugas latihan? Bolehkah konsep interaksi yang ditakrifkan benar-benar mewakili beberapa "pengetahuan" yang bermakna atau adakah ia hanya metrik rumit yang dibuat semata-mata daripada matematik dan tidak mempunyai makna yang jelas? Untuk tujuan ini, kami menjawab soalan ini dari empat aspek berikut - perwakilan konseptualisasi simbolik harus memenuhi sparsity, kebolehpindahan antara sampel, kebolehpindahan antara rangkaian, dan pengelasan.

Keperluan 1 (konsep sparsity): Konsep yang dimodelkan oleh rangkaian saraf sepatutnya jarang

Berbeza Seperti dengan connectionism, ciri perlambangan ialah orang berharap untuk menggunakan sebilangan kecil konsep yang jarang untuk mewakili pengetahuan yang dipelajari oleh rangkaian, dan bukannya menggunakan sejumlah besar konsep padat. Dalam eksperimen, kami mendapati bahawa di antara sebilangan besar konsep berpotensi, terdapat hanya sebilangan kecil konsep yang menonjol. Iaitu, utiliti interaksi I (S) kebanyakan konsep interaktif menghampiri 0, jadi ia boleh diabaikan hanya sebilangan kecil konsep interaktif yang mempunyai utiliti interaksi I (S) yang ketara hanya bergantung pada utiliti interaksi sebilangan kecil utiliti interaksi. Dalam erti kata lain, inferens rangkaian saraf untuk setiap sampel boleh dijelaskan secara ringkas sebagai kegunaan sebilangan kecil konsep penting.

Keperluan 2 (Kebolehpindahan antara sampel): Konsep yang dimodelkan oleh rangkaian saraf harus boleh dipindahkan antara sampel yang berbeza

Ia masih jauh dari cukup untuk memenuhi keterukan pada satu sampel Lebih penting lagi, ungkapan konsep yang jarang ini boleh dipindahkan antara sampel yang berbeza. Jika konsep interaksi yang sama boleh diwakili dalam sampel yang berbeza, dan jika sampel yang berbeza sentiasa mengeluarkan konsep interaksi yang serupa, maka konsep interaksi ini lebih berkemungkinan mewakili pengetahuan yang bermakna dan universal. Sebaliknya, jika kebanyakan konsep interaksi hanya diwakili pada satu atau dua sampel tertentu, maka interaksi yang ditakrifkan dengan cara ini berkemungkinan besar menjadi metrik rumit dengan hanya definisi matematik tetapi tiada makna fizikal. Dalam eksperimen, kami mendapati bahawa selalunya terdapat kamus konsep yang lebih kecil yang boleh menerangkan kebanyakan konsep yang dimodelkan oleh rangkaian saraf untuk sampel kategori yang sama.

Kami juga menggambarkan beberapa konsep dan mendapati bahawa konsep yang sama biasanya menghasilkan kesan yang serupa pada sampel yang berbeza, yang juga mengesahkan bahawa konsep Kebolehpindahan antara sampel yang berbeza .

Keperluan tiga (kebolehpindahan antara rangkaian): Perlu ada kebolehpindahan antara konsep yang dimodelkan oleh rangkaian saraf yang berbeza

Begitu juga, konsep ini harus dapat dipelajari secara stabil oleh rangkaian neural yang berbeza, sama ada ia rangkaian dengan permulaan yang berbeza atau seni bina yang berbeza. Walaupun rangkaian saraf boleh direka bentuk dengan seni bina yang sama sekali berbeza dan ciri model dengan dimensi yang berbeza, jika rangkaian saraf yang berbeza menghadapi tugas khusus yang sama, mereka boleh mencapai "matlamat yang sama melalui laluan yang berbeza", iaitu, jika rangkaian saraf yang berbeza boleh belajar serupa secara stabil. Satu set konsep interaksi, maka kita boleh berfikir bahawa set konsep interaksi ini adalah perwakilan asas untuk tugasan ini. Contohnya, jika rangkaian pengesanan muka yang berbeza semuanya memodelkan interaksi antara mata, hidung dan mulut, maka kita boleh menganggap bahawa interaksi tersebut lebih "penting" dan "dipercayai." Dalam eksperimen, kami mendapati bahawa konsep yang lebih menonjol lebih berkemungkinan dipelajari oleh rangkaian yang berbeza pada masa yang sama, dan perkadaran relatif interaksi ketara dimodelkan bersama oleh rangkaian saraf yang berbeza.

Keperluan 4 (Pengkelasan Konsep): Konsep yang dimodelkan oleh rangkaian saraf harus boleh dikelaskan

Akhir sekali, untuk tugasan pengelasan, jika konsep mempunyai pengelasan yang tinggi, ia harus memainkan peranan positif yang konsisten (atau peranan negatif yang konsisten) dalam klasifikasi kebanyakan sampel. Kebolehklasifikasian yang lebih tinggi boleh mengesahkan bahawa konsep itu boleh melaksanakan tugas pengelasan secara bebas, menjadikannya lebih berkemungkinan menjadi konsep yang boleh dipercayai dan bukannya ciri perantaraan yang tidak matang. Kami juga mereka bentuk eksperimen untuk mengesahkan sifat ini dan mendapati bahawa konsep yang dimodelkan oleh rangkaian saraf cenderung mempunyai sifat pengelasan yang lebih tinggi.

Ringkasnya, empat aspek di atas menunjukkan bahawa dalam kebanyakan kes, perwakilan rangkaian saraf adalah jelas dan simbolik. Sudah tentu, rangkaian saraf tidak selalu dapat memodelkan konsep yang jelas dan simbolik tersebut Dalam beberapa kes yang melampau, rangkaian saraf tidak dapat mempelajari konsep yang jarang dan boleh dipindah milik untuk butiran, sila lihat kertas kerja kami [2].

Tambahan pula, kami mengeksploitasi interaksi ini untuk menerangkan model besar [22].

Kepentingan perwakilan simbolik rangkaian saraf dalam kebolehtafsiran rangkaian saraf

1 Dari perspektif pembangunan bidang kebolehtafsiran, kepentingan yang paling langsung Ia adalah untuk mencari asas tertentu untuk "menjelaskan rangkaian saraf pada tahap konsep". Sekiranya perwakilan rangkaian saraf itu sendiri tidak simbolik, maka penjelasan rangkaian saraf dari peringkat konseptual simbolik hanya boleh menconteng permukaan.

2 Mulai tahun 2021, kami akan membina sistem teori secara beransur-ansur berdasarkan interaksi permainan. Didapati bahawa berdasarkan interaksi permainan, kami boleh menerangkan secara seragam dua isu teras: "Bagaimana untuk mengukur pengetahuan yang dimodelkan oleh rangkaian saraf" dan "Bagaimana untuk menerangkan keupayaan perwakilan rangkaian saraf". Dalam arah "cara mengukur pengetahuan yang dimodelkan oleh rangkaian saraf", sebagai tambahan kepada dua kerja yang disebutkan dalam artikel ini, kerja awal pasukan penyelidik telah berdasarkan penunjuk konsep interaksi permainan untuk menentukan nilai penanda aras optimum nilai Shapley [ 13], dan terokai "konsep visual prototaip" dan "estetika"nya yang dimodelkan oleh rangkaian saraf visual [7,8].

3 Dalam arah "bagaimana untuk menerangkan keupayaan perwakilan rangkaian saraf", pasukan penyelidik membuktikan kesesakan rangkaian saraf dalam mewakili interaksi yang berbeza [6] dan mengkaji bagaimana neural rangkaian boleh Konsep interaksi yang dimodelkan oleh rangkaian saraf digunakan untuk menentukan generalisasinya [12, 19], dan hubungan antara konsep interaksi yang dimodelkan oleh rangkaian saraf dan kekukuhan lawannya dan kebolehpindahan musuh dikaji [9, 10, 11, 20], dan terbukti bahawa rangkaian saraf Bayesian lebih sukar untuk memodelkan konsep interaksi yang kompleks [21].

Untuk bacaan lanjut, sila rujuk:

​https://zhuanlan.zhihu.com/p/264871522/​

Atas ialah kandungan terperinci Memeriksa semula AI, penemuan dan bukti kemunculan simbol konsep dalam rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!