Institut Teknologi Termaju Shenzhen, Akademi Sains China: Rangkaian saraf graf dipertingkat pengetahuan baharu untuk mencapai cadangan yang boleh ditafsir

Dalam beberapa tahun kebelakangan ini, kecerdasan buatan berdasarkan data besar dan pembelajaran mendalam telah menunjukkan kuasa pengkomputeran dan keupayaan pembelajaran yang sangat baik. Walau bagaimanapun, model pembelajaran mendalam selalunya mengandungi struktur tak linear bersarang dalam, menjadikannya sukar untuk menentukan faktor khusus yang membawa kepada keputusan sedemikian, kurang kebolehtafsiran dan ketelusan dalam membuat keputusan.

Pada masa yang sama, memandangkan pengesyoran yang boleh dijelaskan bukan sahaja meningkatkan ketelusan, kebolehjelasan dan kredibiliti sistem pengesyoran, tetapi juga meningkatkan kepuasan pengguna, tugas pengesyoran yang boleh dijelaskan Ia telah menarik lebih banyak dan lebih perhatian daripada penyelidik [1].

Dengan pembangunan kaedah pembelajaran mendalam dan teknologi pemprosesan bahasa, apabila memberikan cadangan yang diperibadikan, banyak kaedah menggunakan teknologi penjanaan bahasa semula jadi untuk menjana penjelasan teks semula jadi [2-3]. Walau bagaimanapun, disebabkan oleh kesederhanaan data, sukar untuk menjana penjelasan teks berkualiti tinggi dan mempunyai kebolehbacaan yang lemah.

Selain itu, kerana graf pengetahuan boleh mengandungi lebih banyak fakta dan kaitan, sesetengah penyelidik menggunakan graf pengetahuan untuk cadangan dan meningkatkan kebolehtafsiran pengesyoran melalui laluan penaakulan graf [4-5]. Walau bagaimanapun, kaedah berasaskan laluan graf memerlukan beberapa prasyarat atau takrifan, seperti laluan yang telah ditetapkan atau kewujudan berbilang jenis perkaitan dalam set data Pada masa yang sama, graf pengetahuan mungkin mengandungi entiti berlebihan, yang membawa kepada keputusan pengesyoran homogen .

Pautan kertas: https://ieeexplore.ieee.org/abstract/document/9681226

Untuk tujuan ini, pengarang mencadangkan Rangkaian saraf graf dipertingkat pengetahuan baharu (KEGNN) dicadangkan untuk mencapai cadangan yang boleh ditafsir.

KEGNN menggunakan pengetahuan semantik dalam pangkalan pengetahuan luaran untuk mempelajari pengetahuan daripada tiga aspek pengguna, produk dan interaksi produk pengguna untuk meningkatkan pembenaman semantik.

Bina graf gelagat pengguna daripada perspektif interaksi produk pengguna dan mulakan graf gelagat pengguna menggunakan pembenaman semantik yang dipertingkatkan pengetahuan.

Kemudian model pembelajaran dan penaakulan tingkah laku pengguna berdasarkan rangkaian saraf graf dicadangkan Model ini memindahkan maklumat keutamaan pengguna dan menjalankan penaakulan berbilang hop pada graf tingkah laku pengguna untuk memahami pengguna secara menyeluruh. tingkah laku.

Akhir sekali, lapisan penapisan kolaboratif hierarki direka untuk ramalan pengesyoran, dan mekanisme penyalinan digabungkan dengan penjana GRU untuk menjana penjelasan semantik yang berkualiti tinggi dan boleh dibaca manusia. Penulis telah menjalankan eksperimen yang meluas pada tiga set data dunia sebenar. Keputusan eksperimen menunjukkan bahawa KGNN mengatasi kaedah sedia ada.

Kaedah

Pengarang mencadangkan rangkaian neural graf yang dipertingkatkan pengetahuan untuk mencapai kebolehtafsiran Seni bina kaedah yang dicadangkan ditunjukkan dalam Rajah 1 Tunjukkan.

Ia terutamanya merangkumi empat modul: pembelajaran perwakilan semantik yang dipertingkatkan pengetahuan, pembelajaran tingkah laku pengguna dan penaakulan berdasarkan rangkaian saraf graf, penapisan kolaboratif hierarki dan penjanaan penjelasan teks.

Modul 1: Untuk mempelajari perwakilan semantik pengguna, produk dan interaksi pengguna-produk, penulis mengumpulkan dokumen semakan pengguna dan produk mengikut kronologi untuk membentuk tiga Jenis dokumen teks, masing-masing diwakili sebagai pengguna, item dan interaksi item pengguna.

Pembelajaran perwakilan semantik yang dipertingkatkan lagi telah dilakukan pada ketiga-tiga dokumen Rajah 2 menunjukkan struktur modul pembelajaran perwakilan semantik yang dipertingkatkan.

Pertama, dalam bahagian perwakilan konteks, perwakilan pembenaman peringkat perkataan dan perwakilan konteks semantik dipelajari terlebih dahulu, dan BiLSTM digunakan untuk menangkap lapisan teratas pembenaman peringkat perkataan secara global untuk mendapatkan perwakilan semantik hierarki. Kedua, dalam persepsi pengetahuan, penulis menggunakan pangkalan pengetahuan untuk meningkatkan pembelajaran perwakilan semantik.

Selain itu, pengarang menggunakan one-hot untuk mewakili pengekodan pengguna/item, dan menggunakan pemetaan lapisan yang disambungkan sepenuhnya untuk menukar perwakilan satu-panas yang jarang menjadi perwakilan padat sebagai wujud perwakilan pengguna/item Akhir sekali, menggunakan perhatian berbilang kepala untuk memadukan lagi perwakilan sedar pengetahuan dan perwakilan sedia ada pengguna/item untuk mengeluarkan perwakilan interaksi pengguna/item/pengguna yang dipertingkatkan.

Modul 2: Untuk memahami sepenuhnya pilihan pengguna, pengarang mereka bentuk modul pembelajaran dan penaakulan tingkah laku pengguna berdasarkan rangkaian saraf graf, termasuk tiga langkah: pembinaan graf tingkah laku pengguna, lapisan penyebaran maklumat dan penaakulan multi-hop, seperti yang ditunjukkan dalam Rajah 3 .

Pertama, daripada perhubungan interaksi item pengguna, pengarang membina graf tingkah laku pengguna dan menggunakan perwakilan semantik yang dipertingkatkan pengetahuan untuk memulakan perwakilan nod dan perwakilan tepi graf tingkah laku pengguna .

Kedua, berdasarkan seni bina rangkaian neural graf, penulis mereka bentuk penyebaran maklumat dan gabungan maklumat berdasarkan lapisan penyebaran maklumat GNN untuk menangkap rangkaian bersebelahan tertib pertama (ego- rangkaian) antara tingkah laku pengguna.

Akhir sekali, pendekatan rekursif digunakan untuk memodelkan maklumat sambungan tertib tinggi struktur graf menggunakan penaakulan berbilang hop.

Modul 3: Penulis mereka bentuk algoritma penapisan kolaboratif neural hierarki berdasarkan rangka kerja penapisan kolaboratif saraf, seperti yang ditunjukkan dalam Rajah 4( a), Ia terutamanya merangkumi tiga lapisan lapisan penapisan kolaboratif saraf untuk mencapai ramalan interaksi produk pengguna.

Lapisan kerjasama saraf pertama ialah lapisan yang bersambung sepenuhnya. Perwakilan pengguna dan perwakilan produk yang diperoleh dalam pembelajaran dan penaakulan graf tingkah laku pengguna disambungkan bersama sebagai input untuk mengeluarkan lapisan pertama. interaksi pengguna-produk. Diwakili sebagai Formula 1:

(Formula 1)

Dalam lapisan kedua, kami mereka bentuk hubungan -lapisan rangkaian neural sedar, yang menggabungkan perwakilan perhubungan item pengguna dan output lapisan pertama.

Gunakan dua kaedah gabungan, iaitu produk Hadamard (seperti formula 2) dan gabungan tak linear lapisan bersambung sepenuhnya (seperti formula 3), untuk menghasilkan interaksi pengguna-produk yang sedar perhubungan masing-masing. Perwakilan dan perwakilan interaksi peringkat tinggi:

(Formula 2)

(Formula 3)

Lapisan ketiga menggunakan perwakilan interaksi item pengguna yang sedar perhubungan dan perwakilan interaksi peringkat tinggi sebagai input untuk mencapai ramalan penilaian, seperti ditunjukkan dalam Persamaan 4:

(Formula 4)

Modul 4: Menggabungkan model penjanaan dan mekanisme penyalinan (mod penjanaan dan mod salin), pengarang mereka bentuk modul penjanaan penjelasan teks novel untuk menjana tinggi -teks yang boleh dibaca manusia berkualiti Baca penjelasan.

Bahagian kanan Rajah 4 menunjukkan butiran modul ini. GRU rangkaian saraf berulang digunakan sebagai penjana penjelasan, mekanisme penyalinan juga diperkenalkan untuk mengekstrak maklumat daripada komen asal pengguna, dan dua mod (mod penjanaan dan mod salin) digabungkan untuk menjana penjelasan teks intuitif (jujukan perkataan), yang mudah untuk dibaca dan difahami oleh pengguna.

Percubaan

Pemilihan set data

Artikel ini menggunakan tiga set data daripada teras Amazon5 adalah elektronik, dapur rumah dan peralatan muzik. Julat penilaian ialah [0,5]. Untuk semua set data, pengarang memilih secara rawak 80% interaksi item pengguna dalam setiap set data sebagai set latihan, 10% interaksi item pengguna sebagai set ujian dan baki 10% interaksi item pengguna. dianggap sebagai set pengesahan.

Prestasi ramalan skor

Dalam perbandingan kaedah, penulis membandingkan KEGNN dengan CTR, PMF, NARRE, NRT, GCMC, LightGCN dan RippleNet (Kira RMSE dan MAE setiap kaedah), seperti yang ditunjukkan dalam rajah.

Seperti yang dapat dilihat daripada keputusan, kaedah pengarang KEGNN mengatasi semua kaedah yang dibandingkan dalam kedua-dua MAE dan RMSE untuk semua set data.

Penjelasan kualiti penjanaan

Seperti yang dapat dilihat daripada hasil, kaedah pengarang lebih baik prestasi dalam ketepatan dan indeks F1 Ia mempunyai prestasi terbaik, tetapi kadar panggil semula tidak sebagus CTR atau NARRE. Keputusan penilaian kualiti menunjukkan bahawa penjelasan teks yang dijana oleh pengarang menyerupai ulasan kebenaran asas yang berkaitan dengan gelagat pemprosesan dan mendedahkan niat pengguna tersirat di sebalik gelagat pemprosesan. Penulis juga menyiasat lebih lanjut kebolehtafsiran dalam analisis kes seterusnya.

Analisis Kes

Pengarang memilih beberapa kes untuk menunjukkan kebolehtafsiran penjelasan yang dijana kes Semua datang daripada set ujian Oleh itu, teks sebenar disembunyikan semasa proses penjanaan penjelasan.

Daripada kajian kes, kita dapat melihat bahawa kaedah pengarang menjana penjelasan yang menerangkan pilihan pengguna dan sebab pembelian untuk item yang dinilai. Konsep dan aspek yang boleh dijelaskan diserlahkan dalam huruf condong tebal, menunjukkan maksud asas tingkah laku pengguna dan menunjukkan kebolehjelasan hasil yang disyorkan.

Kesimpulan

Kertas kerja ini mencadangkan kaedah cadangan yang boleh dijelaskan berdasarkan rangkaian neural graf dipertingkatkan pengetahuan (KEGNN), yang menggunakan pengetahuan luaran Semantik pengetahuan di perpustakaan digunakan untuk meningkatkan pembelajaran perwakilan dalam tiga aspek: pengguna, produk dan interaksi pengguna-produk.

Pengarang membina graf gelagat pengguna dan mereka bentuk modul pembelajaran dan penaakulan gelagat pengguna berdasarkan rangkaian saraf graf untuk memahami gelagat pengguna secara menyeluruh.

Akhir sekali, penjana GRU dan mekanisme penyalinan digabungkan untuk menjana penjelasan teks semantik, dan penapisan kolaboratif saraf hierarki digunakan untuk mencapai pengesyoran yang tepat. Sila lihat butiran kertas untuk butiran.

Atas ialah kandungan terperinci Institut Teknologi Termaju Shenzhen, Akademi Sains China: Rangkaian saraf graf dipertingkat pengetahuan baharu untuk mencapai cadangan yang boleh ditafsir. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!