Institut Teknologi Harbin mencadangkan rangka kerja penaakulan berulang yang inovatif DPE-MNER: memberikan permainan sepenuhnya kepada potensi perwakilan pelbagai mod

Lajur AIxiv ialah lajur di mana kandungan akademik dan teknikal diterbitkan di laman web ini. Dalam beberapa tahun kebelakangan ini, lajur AIxiv laman web ini telah menerima lebih daripada 2,000 laporan, meliputi makmal terkemuka dari universiti dan syarikat utama di seluruh dunia, mempromosikan pertukaran dan penyebaran akademik secara berkesan. Jika anda mempunyai kerja yang sangat baik yang ingin anda kongsikan, sila berasa bebas untuk menyumbang atau hubungi kami untuk melaporkan. E-mel penyerahan: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Pasukan pengarang artikel ini berasal dari Pusat Penyelidikan Pengkomputeran Sosial dan Pengambilan Maklumat Institut Teknologi Harbin. Zheng Zihao, Zhang Zihan, Wang Zexin, Fu Rui Ji, Liu Ming, Wang Zhongyuan, Qin Bing. . Walaupun penyelidikan terdahulu telah meneroka kaedah penyepaduan perwakilan berbilang modal pada tahap yang berbeza, ia masih tidak mencukupi dalam menggabungkan perwakilan berbilang modal ini untuk menyediakan maklumat kontekstual yang kaya dan dengan itu meningkatkan prestasi pengiktirafan entiti yang dinamakan berbilang modal.

Dalam kertas kerja ini, pasukan penyelidik mencadangkan

DPE-MNER, rangka kerja penaakulan berulang yang inovatif yang mengikut strategi "menguraikan, mengutamakan, menghapuskan" dan menyepadukan perwakilan pelbagai mod secara dinamik. Rangka kerja ini dengan bijak menguraikan gabungan perwakilan multimodal ke dalam lapisan gabungan hierarki dan saling berkaitan, dengan sangat memudahkan proses pemprosesan. Apabila menyepadukan maklumat multimodal, pasukan memberi penekanan khusus pada peralihan progresif daripada "mudah kepada kompleks" dan "makro kepada mikro." Selain itu, dengan memodelkan korelasi silang mod secara eksplisit, pasukan penyelidik secara berkesan mengecualikan maklumat yang tidak berkaitan yang mungkin mengelirukan ramalan MNER. Melalui eksperimen yang meluas pada dua set data awam, kaedah pasukan penyelidik telah terbukti berkesan dengan ketara dalam meningkatkan ketepatan dan kecekapan pengecaman entiti yang dinamakan berbilang modal. Artikel ini adalah salah satu daripada sepuluh calon kertas terbaik antara 1558 kertas yang diterima untuk LREC-COLING 2024

.

Pautan kertas:

https://www.php.cn/link/4b4984066015df12cfc4e8f6d60b7147

^{Contoh pengiktirafan entiti bernama berbilang modal. Pasukan penyelidik menunjukkan pelbagai perwakilan multimodal yang mungkin berguna untuk keputusan pengiktirafan entiti bernama. Manusia biasanya memproses maklumat ini secara mental secara berulang.}

Untuk menangani masalah ini, pasukan penyelidik mendapat inspirasi daripada bidang Penyelesaian Masalah Kompleks (Sternberg dan Frensch, 1992). Bidang ini memberi tumpuan kepada kajian kaedah dan strategi yang digunakan oleh manusia dan komputer untuk menyelesaikan masalah yang melibatkan pelbagai pembolehubah, ketidakpastian dan kerumitan yang tinggi. Pertama, mereka percaya bahawa apabila berhadapan dengan masalah yang kompleks, manusia secara umumnya menggunakan pendekatan berulang Seperti yang ditunjukkan dalam rajah, pasukan penyelidik sebenarnya menggunakan proses berulang apabila berurusan dengan MNER. Kedua, manusia menggunakan strategi khusus untuk memudahkan masalah ini, seperti mengurai, mengutamakan, dan menghapuskan faktor yang tidak relevan.

Pasukan penyelidik percaya bahawa menganggap pengiktirafan entiti berbilang mod (MNER) sebagai proses berulang untuk menyepadukan maklumat berbilang modal dan menggunakan strategi ini sangat sesuai untuk tugas MNER. Berbanding dengan kaedah satu langkah, kaedah berbilang langkah secara lebih komprehensif boleh mengeksploitasi perwakilan berbilang mod yang pelbagai dalam proses pengoptimuman hasil pengecaman entiti dinamakan (NER) secara berulang.

Selain itu, ketiga-tiga strategi ini sangat sesuai untuk penyepaduan pelbagai representasi dalam multi-modal NER:

• Strategi penguraian menggalakkan kita membahagikan gabungan perwakilan multi-modal yang lebih kecil Unit yang lebih mudah dikesan mampu meneroka interaksi berbilang mod pada tahap butiran yang berbeza.
• Strategi keutamaan mengesyorkan penyepaduan maklumat pelbagai mod mengikut susunan "mudah kepada sukar" dan "kasar kepada halus" ini menyumbang kepada pengoptimuman langkah demi langkah ramalan MNER. Ini membolehkan model mengalih perhatian secara beransur-ansur daripada maklumat yang ringkas tetapi kasar kepada butiran yang rumit tetapi tepat.
• Strategi penghapusan ketidakrelevanan memberi inspirasi kepada kami untuk menyaring dan mengecualikan maklumat yang tidak berkaitan secara eksplisit dalam perwakilan berbilang mod yang berbeza ini boleh menghapuskan maklumat tidak relevan yang boleh menjejaskan prestasi MNER.

Kaedah

Pasukan penyelidik mereka bentuk rangka kerja pengekstrakan entiti berbilang mod berulang yang menggabungkan berbilang ciri berbilang modal secara dinamik, yang merangkumi proses rangkaian lelaran ramalan.

Pemodelan berulang MNER

Pasukan penyelidik mengikuti model resapan untuk memodelkan pengecaman objek, penjajaran visual dan pengekstrakan entiti teks sebagai proses denoising berulang, dan juga menggunakan model resapan untuk menggabungkan entiti berbilang Pengekstrakan dimodelkan sebagai proses berulang. Model mula-mula secara rawak memulakan satu siri selang entiti , dan menggunakan rangkaian ramalan untuk mengekodkan ciri berbilang modal untuk menyah-nyah secara berulang semasa proses menyahnosit untuk mendapatkan selang entiti yang betul dalam teks.

Rangkaian Ramalan

Seperti yang ditunjukkan dalam rajah, pasukan penyelidik memperoleh sejumlah tiga representasi berbutir dalam teks, dua butiran dan dua kesukaran yang Perwakilan adalah perwakilan yang mudah, perwakilan yang salah adalah perwakilan yang sukar) . Rangkaian ramalan pasukan AMRN termasuk rangkaian pengekodan (DMMF) dan rangkaian penyahkodan (MER). Reka bentuk rangkaian ramalan adalah berdasarkan tiga strategi yang dinyatakan sebelum ini.

Seperti yang ditunjukkan dalam rajah, rangkaian pengekodan ialah rangkaian gabungan hierarki yang menggabungkan dan menguraikan berbilang ciri berbilang modal ke dalam proses hierarki. Proses bawah ke atas adalah untuk menyepadukan ciri imej kebutiran yang sama dan kesukaran yang berbeza ke dalam ciri teks $x_i$ setiap butiran, kemudian menyepadukan ciri imej $Y$ kebutiran berbeza ke dalam ciri teks setiap butiran , dan akhirnya menyepadukan ciri kebutiran berbeza $Y$ ke dalam ciri teks setiap butiran Ciri imej Y dan ciri teks X disatukan untuk mendapatkan perwakilan berbilang modal terakhir. Input ke rangkaian penyahkodan untuk penyahkodan, dan rangkaian penyahkodan memperoleh selang baharu dan jenis entiti setiap selang.

Penyatuan asas. Pasukan penyelidik di peringkat ini menyepadukan ciri imej butiran tertentu ke dalam ciri teks butiran tertentu. Mengikut proses penyebaran, pasukan penyelidik boleh mendapatkan penjadual yang boleh mencerminkan status lelaran semasa, yang juga merupakan kunci untuk memperkenalkan

keutamaan. Berdasarkan penjadual ini, pasukan penyelidik menggabungkan ciri imej kesukaran yang berbeza bersama-sama untuk mendapatkan dan korelasi rel, yang digunakan untuk menghapuskan maklumat yang tidak berkaitan. Akhirnya, pengubah kesesakan telah digunakan berdasarkan korelasi ini untuk menggabungkan dan , dan imej berbilang modal dan perwakilan gabungan teks kebutiran tertentu telah diperolehi.

Penyatuan lapisan pertengahan.Pasukan penyelidik pada lapisan ini menggabungkan ciri imej kebutiran berbeza ke dalam ciri teks kebutiran tertentu, iaitu gabungan. Pada lapisan ini, kami menggunakan penjadual untuk menggabungkan ciri imej bagi butiran berbeza secara dinamik untuk mendapatkan perwakilan teks berbilang mod bagi butiran tertentu.

Gabungan teratas. Pasukan penyelidik pada lapisan ini menggabungkan perwakilan teks berbilang modal butiran berbeza ke dalam perwakilan selang untuk mendapatkan jumlah perwakilan teks berbilang mod , yang dimasukkan ke dalam rangkaian penyahkodan untuk ramalan.

Hasil eksperimen

Percubaan utama

Pasukan pengarang MNER membandingkan beberapa kaedah biasa Keputusan eksperimen menunjukkan bahawa kaedah ini mencapai prestasi terbaik pada dua set data yang biasa digunakan.

Eksperimen Ablasi

Penyelidik mengalih keluar reka bentuk keutamaan, hierarki dan penyingkiran dalam kertas kami untuk memerhatikan prestasi model setiap reka bentuk menunjukkan penurunan prestasi.

Perbandingan dengan kaedah gabungan ciri statik

Mereka membandingkan beberapa kaedah gabungan pelbagai mod statik biasa, seperti pengumpulan maks, pengumpulan purata dan berasaskan hasil MLP menunjukkan bahawa rangka kerja gabungan dinamik yang dicadangkan mereka boleh mencapai prestasi terbaik.

Analisis sampel biasa

Pasukan penyelidik memilih dua sampel yang mewakili untuk menggambarkan proses berulang. Ia boleh dilihat bahawa dalam langkah lelaran pertama, jenis kuasa dua masa dan kiub telah diramalkan secara salah, bagaimanapun, berdasarkan petunjuk ciri penting dalam gambar, ia telah dibetulkan secara berulang kepada jenis entiti yang betul. . Untuk tujuan ini, pengarang mereka bentuk dan mencadangkan rangka kerja penaakulan berulang yang inovatif—DPE-MNER. DPE-MNER dengan bijak memudahkan proses penyepaduan perwakilan pelbagai mod yang kaya dan pelbagai ini dengan menguraikan tugas MNER kepada beberapa peringkat. Dalam proses berulang ini, perwakilan multimodal mencapai gabungan dan penyepaduan dinamik berdasarkan strategi "penguraian, keutamaan dan penyingkiran." Melalui satu siri pengesahan percubaan yang ketat, pasukan penyelidik menunjukkan sepenuhnya kesan luar biasa dan prestasi unggul rangka kerja DPE-MNER.

Rujukan:

[1] Graf Pengetahuan Bertemu Pembelajaran Pelbagai Modal: Tinjauan Komprehensif, arxiv

: Secara Dinamik Dalam menggabungkan Pelbagai Perwakilan untuk Pengiktirafan Entiti Bernama Berbilang Modal,2024, Persidangan Antarabangsa Bersama Linguistik Pengiraan, Sumber Bahasa dan Penilaian

^{[3] Penyelesaian masalah yang kompleks : Prinsip dan mekanisme,1992, American Journal of Psycholog}

^{[4] DiffusionNER: Resapan Sempadan untuk Pengecaman Entiti Dinamakan, ACL23}

^{[5] DiffusionDet: Model Resapan untuk Pengesanan Objek, ICCV23}

^{Model untuk Pembumian Visual , arxiv23}

Atas ialah kandungan terperinci Institut Teknologi Harbin mencadangkan rangka kerja penaakulan berulang yang inovatif DPE-MNER: memberikan permainan sepenuhnya kepada potensi perwakilan pelbagai mod. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!