Artikel ini meringkaskan kaedah klasik dan perbandingan kesan peningkatan ciri & pemperibadian dalam anggaran CTR.

Dalam anggaran CTR, kaedah arus perdana menggunakan pembenaman ciri+MLP, di mana ciri adalah sangat kritikal. Walau bagaimanapun, untuk ciri yang sama, perwakilan adalah sama dalam sampel yang berbeza Cara memasukkan ke model hiliran ini akan mengehadkan keupayaan ekspresif model.

Untuk menyelesaikan masalah ini, satu siri kerja berkaitan telah dicadangkan dalam bidang anggaran CTR, yang dipanggil modul peningkatan ciri. Modul peningkatan ciri membetulkan hasil keluaran lapisan benam berdasarkan sampel berbeza untuk menyesuaikan diri dengan perwakilan ciri sampel berbeza dan meningkatkan keupayaan ekspresi model.

Baru-baru ini, Universiti Fudan dan Microsoft Research Asia bersama-sama menerbitkan ulasan tentang kerja peningkatan ciri, membandingkan kaedah pelaksanaan dan kesan modul peningkatan ciri yang berbeza. Sekarang, mari kita perkenalkan kaedah pelaksanaan beberapa modul peningkatan ciri, serta eksperimen perbandingan yang berkaitan yang dijalankan dalam artikel ini

Tajuk kertas: Rumusan Komprehensif dan Penilaian Modul Penambahbaikan Ciri untuk Ramalan CTR

Alamat muat turun: https:/ / arxiv.org/pdf/2311.04625v1.pdf

1. Idea pemodelan peningkatan ciri

Modul peningkatan ciri direka untuk meningkatkan keupayaan ekspresi lapisan Benam dalam model ramalan CTR dan mencapai pembezaan perwakilan ciri yang sama di bawah sampel yang berbeza. Modul peningkatan ciri boleh dinyatakan dengan formula bersatu berikut, masukkan Pembenaman asal, dan selepas lulus fungsi, jana Pembenaman diperibadikan sampel ini.

Gambar

Idea umum kaedah ini ialah selepas memperoleh pembenaman awal setiap ciri, gunakan perwakilan sampel itu sendiri untuk mengubah pembenaman ciri untuk mendapatkan pembenaman diperibadikan bagi sampel semasa. Di sini kami memperkenalkan beberapa kaedah pemodelan modul peningkatan ciri klasik.

2. Kaedah klasik penambahbaikan ciri

Mesin Pemfaktoran Sedar Input untuk Ramalan Jarang (IJCAI 2019) Artikel ini menambah lapisan pemberat semula selepas lapisan pembenaman, dan memasukkan pembenaman awal sampel ke dalam MLP untuk mendapatkan perwakilan daripada sampel Vektor, dinormalkan menggunakan softmax. Setiap elemen selepas Softmax sepadan dengan ciri, yang mewakili kepentingan ciri ini Hasil softmax ini didarabkan dengan pembenaman awal setiap ciri yang sepadan untuk mencapai pemberatan pembenaman ciri pada kebutiran sampel.

Pictures

FiBiNET: Model ramalan kadar klik lalu yang menggabungkan kepentingan ciri dan interaksi ciri tertib kedua (RecSys 2019) juga menggunakan idea yang sama. Model mempelajari berat ciri yang diperibadikan untuk setiap sampel. Seluruh proses dibahagikan kepada tiga langkah: memerah, mengekstraksi dan menimbang semula. Dalam peringkat squeezing, vektor benam bagi setiap ciri diperoleh sebagai skalar statistik melalui kaedah pengumpulan. Dalam peringkat pengekstrakan, skalar ini dimasukkan ke dalam multilayer perceptron (MLP) untuk mendapatkan berat setiap ciri. Akhir sekali, pemberat ini didarabkan dengan vektor pembenaman setiap ciri untuk mendapatkan hasil pembenaman berwajaran, yang bersamaan dengan menapis kepentingan ciri pada peringkat sampel

Gambar

Mesin Pemfaktoran Sedar Input Dwi untuk Ramalan CTR ( IJCAI 2020) adalah serupa dengan artikel sebelumnya, juga menggunakan perhatian diri untuk meningkatkan ciri. Keseluruhannya dibahagikan kepada dua modul: dari segi vektor dan sedikit. Dari segi vektor menganggap pembenaman setiap ciri sebagai elemen dalam jujukan dan memasukkannya ke dalam Transformer untuk mendapatkan perwakilan ciri bercantum menggunakan MLP berbilang lapisan untuk memetakan ciri asal. Selepas keputusan input dua bahagian ditambah, berat setiap elemen ciri diperoleh dan didarab dengan setiap bit ciri asal yang sepadan untuk mendapatkan ciri yang dipertingkatkan.

Image

GateNet: Rangkaian Dalam Berpagar Dipertingkatkan untuk Ramalan Kadar Klik Lalu (2020) Menggunakan vektor pembenaman awal setiap ciri untuk menjana skor berat ciri bebasnya melalui MLP dan fungsi sigmoid, sambil menggunakan MLP untuk digabungkan semua Ciri dipetakan kepada skor berat bitwise, dan kedua-duanya digabungkan untuk menimbang ciri input. Sebagai tambahan kepada lapisan ciri, dalam lapisan tersembunyi MLP, kaedah yang sama juga digunakan untuk menimbang input setiap lapisan tersembunyi

gambar

Ramalan Kadar Klik Lalu yang Boleh Ditafsir melalui Perhatian Hierarki (WSDM 2020) juga menggunakan perhatian kendiri untuk mencapai penukaran ciri, tetapi menambah penjanaan ciri tertib tinggi. Perhatian kendiri hierarki digunakan di sini Setiap lapisan perhatian kendiri mengambil keluaran lapisan perhatian kendiri sebelumnya sebagai input Setiap lapisan menambah gabungan ciri tertib tinggi tertib pertama untuk mencapai pengekstrakan ciri berbilang susunan hierarki. Khususnya, selepas setiap lapisan melakukan perhatian kendiri, matriks ciri baharu yang dihasilkan melalui softmax untuk mendapatkan berat setiap ciri Ciri baharu ditimbang mengikut berat ciri asal, dan kemudian produk titik dilakukan dengan ciri asal untuk mencapai peningkatan satu ciri persimpangan tahap. . Ciri asal diskalakan dan parameter MLP diperibadikan digunakan untuk setiap ciri. Dengan cara ini, setiap ciri dipertingkatkan menggunakan ciri lain dalam sampel sebagai bit atas dan bawah. . Melalui perhatian kendiri, perhatian kendiri dilakukan pada pembenaman setiap ciri untuk mencapai interaksi maklumat antara ciri dalam sampel. Selain interaksi antara ciri, artikel itu juga menggunakan MLP untuk interaksi maklumat peringkat bit. Benamkan baharu yang dijana di atas akan digabungkan dengan pembenaman asal melalui rangkaian get untuk mendapatkan perwakilan ciri yang diperhalusi terakhir.

Gambar

3. Keputusan eksperimen

Selepas membandingkan kesan pelbagai kaedah peningkatan ciri, kami membuat kesimpulan keseluruhan: antara banyak modul peningkatan ciri, GFRL, FRNet-V dan FRNetB menunjukkan prestasi terbaik, dan kesan lebih baik daripada kaedah peningkatan ciri yang lain

Gambar

Atas ialah kandungan terperinci Artikel ini meringkaskan kaedah klasik dan perbandingan kesan peningkatan ciri & pemperibadian dalam anggaran CTR.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!