Untuk meningkatkan pengalaman carian Alipay, Universiti Ant dan Peking menggunakan rangka kerja penjanaan teks pembelajaran perbandingan hierarki

Tugas penjanaan teks biasanya dilatih menggunakan paksaan guru Kaedah latihan ini membolehkan model hanya melihat sampel positif semasa proses latihan. Walau bagaimanapun, biasanya terdapat kekangan tertentu antara sasaran penjanaan dan input Kekangan ini biasanya dicerminkan oleh elemen utama dalam ayat Sebagai contoh, dalam tugasan menulis semula pertanyaan, "pesanan McDonald's" tidak boleh ditukar kepada "pesan KFC". memainkan peranan dalam Elemen utama kekangan ialah kata kunci jenama. Dengan memperkenalkan pembelajaran kontrastif dan menambah corak sampel negatif kepada proses penjanaan, model boleh mempelajari kekangan ini dengan berkesan.

Kaedah pembelajaran kontrastif sedia ada tertumpu terutamanya pada keseluruhan peringkat ayat [1][2], sambil mengabaikan perkataan entiti butiran dalam ayat Maklumat, contohnya dalam rajah di bawah menunjukkan makna penting kata kunci dalam ayat Untuk ayat input, jika kata kuncinya diganti (cth kosmologi->astrofizik), makna ayat akan berubah, justeru dalam ruang semantik Kedudukan dalam (diwakili). oleh pengedaran) juga berubah. Sebagai maklumat yang paling penting dalam ayat, kata kunci sepadan dengan titik dalam taburan semantik, yang sebahagian besarnya menentukan kedudukan taburan ayat. Pada masa yang sama, dalam beberapa kes, objektif pembelajaran kontrastif sedia ada terlalu mudah untuk model, menyebabkan model tidak dapat benar-benar mempelajari maklumat utama antara contoh positif dan negatif.

Berdasarkan perkara ini, penyelidik dari Ant Group, Universiti Peking dan institusi lain mencadangkan kaedah penjanaan kontras pelbagai butiran dan mereka bentuk struktur kontras hierarki dilakukan pada tahap kebutiran ayat untuk meningkatkan semantik keseluruhan pembelajaran, dan maklumat penting tempatan dipertingkatkan pada kebutiran perkataan. Kertas penyelidikan telah diterima untuk ACL 2022.

Alamat kertas: https://aclanthology.org/2022.acl-long.304.pdf Kaedah kami adalah berdasarkan CVAE klasik Dalam rangka kerja penjanaan teks [3][4], setiap ayat boleh dipetakan kepada pengedaran dalam ruang vektor, dan kata kunci dalam ayat itu boleh dianggap sebagai titik sampel daripada pengedaran ini. Di satu pihak, kami mempertingkatkan ungkapan taburan vektor ruang terpendam melalui perbandingan kebutiran ayat Sebaliknya, kami meningkatkan ungkapan kebutiran titik kata kunci melalui graf kata kunci global yang dibina Akhir sekali, kami menggunakan jarak Mahalanobis untuk membandingkan pengedaran titik kata kunci dan ayat Kontras antara tahap konstruk untuk meningkatkan ekspresi maklumat pada dua butiran. Fungsi kehilangan akhir diperoleh dengan menambah tiga kerugian pembelajaran kontrastif yang berbeza.

Pembelajaran Kontrastif Berbutir Ayat

dalam Peringkat contoh, kami menggunakan input asal Bandingkan pasangan

. Kami menggunakan rangkaian terdahulu untuk mempelajari pengedaran sebelumnya

, dilambangkan sebagai

; pelajari anggaran pengedaran posterior melalui rangkaian posterior

dan

masing-masing direkodkan sebagai

dan

. Matlamat pembelajaran perbandingan berbutir ayat adalah untuk mengurangkan jarak antara taburan terdahulu dan taburan posterior positif sebanyak mungkin, dan pada masa yang sama, memaksimumkan jarak antara taburan terdahulu dan taburan posterior negatif Fungsi kerugian yang sepadan ialah seperti berikut:

di manakah sampel positif atau sampel negatif, dan ialah pekali suhu, yang digunakan untuk mewakili metrik jarak Di sini kita menggunakan divergence KL (Kullback–Leibler divergence )[5] untuk mengukur jarak terus antara dua taburan.

Pembelajaran Kontrastif Butiran Kata Kunci

• Rangkaian Kata Kunci

Pembelajaran perbandingan kebutiran kata kunci digunakan untuk menjadikan model memberi lebih perhatian kepada maklumat utama dalam ayat Kami menggunakan input Positif dan hubungan negatif yang sepadan dengan teks output dibina untuk membina graf kata kunci untuk mencapai matlamat ini. Khususnya, mengikut pasangan ayat yang diberikan

, kita masing-masing boleh menentukan kata kunci

dan

(Saya menggunakan algoritma TextRank klasik [6] untuk pengekstrakan kata kunci); untuk ayat

, mungkin terdapat ayat lain dengan kata kunci yang sama

, yang bersama-sama membentuk satu set

, setiap ayat dalam ini

Ada sepasang positif dan ayat keluaran contoh negatif

, dan setiap ayat tersebut mempunyai contoh kata kunci positif

dan kata kunci negatif

. Dengan cara ini, dalam keseluruhan koleksi, untuk mana-mana ayat keluaran

, ia boleh dianggap sebagai kata kunci yang sepadan

dan setiap sekeliling

(dikaitkan melalui hubungan positif dan negatif antara ayat) Terdapat kelebihan positif antara

, dan terdapat kelebihan negatif

>

. Berdasarkan nod kata kunci ini dan tepi langsungnya, kita boleh membina graf kata kunci

Kami menggunakan pembenaman BERT[7] sebagai permulaan bagi setiap nod

dan menggunakan lapisan MLP untuk mempelajari perwakilan setiap tepi

. Kami mengemas kini nod dan tepi dalam rangkaian kata kunci secara berulang melalui lapisan perhatian graf (GAT) dan lapisan MLP Dalam setiap lelaran, kami mula-mula mengemas kini perwakilan tepi dengan cara berikut:

Di sini

boleh

atau

.

Kemudian berdasarkan kelebihan yang dikemas kini

, kami mengemas kini perwakilan setiap nod melalui lapisan perhatian graf:

Di sini

adalah semua parameter yang boleh dipelajari,

ialah berat perhatian. Untuk mengelakkan masalah kecerunan yang hilang, kami menambah sambungan baki pada

untuk mendapatkan Maksudnya

. Kami menggunakan perwakilan nod bagi lelaran terakhir sebagai perwakilan kata kunci, dilambangkan sebagai u.

• Perbandingan kata kunci

Perbandingan butiran kata kunci datang daripada kata kunci ayat input

dan nod penyamar

. Kami merekodkan kata kunci yang diekstrak daripada sampel positif keluaran ayat input sebagai

, yang berada dalam rangkaian kata kunci di atas Nod jiran negatif direkodkan sebagai

, kemudian

, kehilangan pembelajaran perbandingan kebutiran kata kunci dikira seperti berikut:

Di sini

digunakan untuk merujuk kepada

atau

, h(·) digunakan untuk mewakili ukuran jarak Dalam pembelajaran perbandingan kebutiran kata kunci, kami memilih persamaan kosinus untuk mengira jarak antara dua titik.

• Pembelajaran perbandingan merentas butiran

Boleh diperhatikan bahawa pembelajaran kontras bagi kebutiran ayat di atas dan kebutiran kata kunci dilaksanakan masing-masing pada pengedaran dan titik, supaya perbandingan bebas kedua-dua butiran boleh melemahkan kesan peningkatan disebabkan perbezaan yang kecil. Dalam hal ini, kami membina persatuan perbandingan antara butiran yang berbeza berdasarkan jarak Mahalanobis [8] antara titik dan taburan, supaya jarak antara kata kunci keluaran sasaran dan taburan ayat adalah sekecil mungkin, supaya jarak antara penyamar dan pengedaran adalah sekecil mungkin Ia menebus kecacatan bahawa perbandingan bebas setiap saiz zarah boleh menyebabkan hilangnya kontras. Secara khusus, pembelajaran kontras jarak Mahalanobis berbutiran silang berharap dapat mengecilkan taburan semantik posterior ayat

dan

sambil memaksimumkan jarak antaranya dan

, fungsi kehilangan adalah seperti berikut:

Di sini

juga digunakan untuk merujuk kepada

atau

, dan h(·) ialah jarak Mahalanobis .

Eksperimen & Analisis

Hasil Eksperimen

Kami menjalankan eksperimen pada tiga set data awam Douban (Dialog) [9], QQP (Parafrasa) [10] [11] dan RocStories (Bercerita) [12], dan kesemuanya mencapai kesan SOTA. Garis dasar yang kami bandingkan termasuk model generatif tradisional (cth. CVAE[13], Seq2Seq[14], Transformer[15]), kaedah berdasarkan model pra-latihan (cth. Seq2Seq-DU[16], DialoGPT[17], BERT-GEN [7], T5[18]) dan kaedah berdasarkan pembelajaran kontrastif (cth. Dari segi kumpulan[9], T5-CLAPS[19]). Kami mengira skor BLEU[20] dan jarak benam BOW (ekstrem/purata/tamak)[21] antara pasangan ayat sebagai penunjuk penilaian automatik 🎜 >

Kami juga menggunakan penilaian manual pada set data QQP masing-masing menghasilkan keputusan untuk T5-CLAPS, DialoGPT, Seq2Seq-DU dan model kami ditanda, dan hasilnya adalah seperti yang ditunjukkan dalam rajah di bawah:

Analisis Ablasi

Kami menjalankan analisis sama ada untuk menggunakan kata kunci, sama ada untuk menggunakan rangkaian kata kunci dan sama ada untuk menggunakan jarak Mahalanobis taburan perbandingan Eksperimen analisis ablasi telah dijalankan, dan keputusan menunjukkan bahawa ketiga-tiga reka bentuk ini memang memainkan peranan penting dalam keputusan akhir Keputusan eksperimen ditunjukkan dalam rajah di bawah.

Analisis visual

Untuk mengkaji berbeza Mengenai peranan pembelajaran kontrastif hierarki, kami memvisualisasikan kes sampel rawak dan memperoleh angka berikut selepas pengurangan dimensi melalui t-sne [22]. Dapat dilihat daripada rajah bahawa perwakilan ayat input adalah hampir dengan perwakilan kata kunci yang diekstrak, yang menunjukkan bahawa kata kunci, sebagai maklumat terpenting dalam ayat, biasanya menentukan kedudukan taburan semantik. Selain itu, dalam pembelajaran kontrastif, kita dapat melihat bahawa selepas latihan, pengedaran ayat input lebih dekat kepada sampel positif dan lebih jauh daripada sampel negatif, yang menunjukkan bahawa pembelajaran kontrastif dapat membantu membetulkan taburan semantik.

Analisis kepentingan kata kunci

Akhir sekali, kami meneroka kesan pensampelan kata kunci yang berbeza. Seperti yang ditunjukkan dalam jadual di bawah, untuk soalan input, kami menyediakan kata kunci sebagai syarat untuk mengawal taburan semantik melalui pengekstrakan TextRank dan kaedah pemilihan rawak masing-masing, dan menyemak kualiti teks yang dijana. Kata kunci ialah unit maklumat yang paling penting dalam ayat Kata kunci yang berbeza akan membawa kepada pengedaran semantik yang berbeza dan menghasilkan ujian yang berbeza Semakin banyak kata kunci yang dipilih, semakin tepat ayat yang dihasilkan. Sementara itu, keputusan yang dihasilkan oleh model lain juga ditunjukkan dalam jadual di bawah.

Aplikasi Perniagaan

Artikel ini Dalam kami mencadangkan mekanisme pembelajaran kontrastif hierarki rentas butiran yang mengatasi prestasi kerja garis dasar kompetitif pada berbilang set data janaan teks. Model penulisan semula pertanyaan berdasarkan kerja ini telah berjaya dilaksanakan dalam senario perniagaan sebenar carian Alipay dan mencapai hasil yang luar biasa. Perkhidmatan dalam carian Alipay merangkumi pelbagai bidang dan mempunyai ciri domain yang ketara Terdapat perbezaan literal yang besar antara ungkapan pertanyaan carian pengguna dan ungkapan perkhidmatan, yang menjadikannya sukar untuk mencapai hasil yang ideal dengan memadankan secara langsung berdasarkan kata kunci (untuk. contoh, pengguna memasukkan pertanyaan "Pertanyaan kereta baru dilancarkan" ", perkhidmatan "pertanyaan pelancaran kereta baharu" tidak dapat ditarik balik), matlamat penulisan semula pertanyaan adalah untuk menulis semula pertanyaan yang dimasukkan oleh pengguna ke cara yang lebih dekat dengan ekspresi perkhidmatan sambil mengekalkan niat pertanyaan tidak berubah, supaya lebih sepadan dengan perkhidmatan sasaran. Berikut ialah beberapa contoh kata semula:

Atas ialah kandungan terperinci Untuk meningkatkan pengalaman carian Alipay, Universiti Ant dan Peking menggunakan rangka kerja penjanaan teks pembelajaran perbandingan hierarki. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!