Aplikasi pembelajaran mesin graf dalam perniagaan pengesyoran Ant Group

Artikel ini akan memperkenalkan aplikasi pembelajaran mesin graf dalam sistem pengesyoran semut. Dalam perniagaan sebenar Ant, terdapat sejumlah besar maklumat tambahan, seperti graf pengetahuan, gelagat pengguna perniagaan lain, dsb. Maklumat ini biasanya sangat membantu untuk perniagaan pengesyoran Kami menggunakan algoritma graf untuk menyambungkan maklumat ini dan sistem pengesyoran minat pengguna. Teks penuh tertumpu terutamanya pada aspek berikut:

• Latar Belakang
• Berdasarkan pengesyoran Graf
• Pengesyoran berasaskan teks dan sosial
• Pengesyoran merentas domain

01 Latar Belakang

Selain fungsi pembayaran utamanya, Alipay juga mempunyai sejumlah besar senario pengesyoran, termasuk pengesyoran tali pinggang, pengesyoran dana, pengesyoran kupon pengguna, dsb. Perbezaan terbesar antara pengesyoran dalam domain Alipay berbanding dengan pengesyoran lain ialah tingkah laku pengguna jarang dan aktivitinya rendah Ramai pengguna membuka Alipay hanya untuk pembayaran dan tidak mempedulikan perkara lain. Oleh itu, terdapat sangat sedikit rekod pada bahagian UI dalam rangkaian pengesyoran, dan tumpuan kami juga adalah pada pengesyoran sasaran aktiviti rendah. Contohnya, untuk meningkatkan DAU, kandungan hanya boleh diletakkan pada pinggang pengguna aktif rendah, dan pengguna biasa tidak dapat melihatnya dalam bahagian pengesyoran dana , kami memberi lebih perhatian kepada mereka Pengguna yang tidak mempunyai pengurusan kewangan atau mempunyai kedudukan pengurusan kewangan yang rendah dibimbing untuk membeli beberapa dana untuk perdagangan pengesyoran kupon pengguna juga untuk mempromosikan penggunaan luar talian pengguna aktiviti rendah;

​Terdapat sedikit maklumat urutan tingkah laku sejarah untuk rendah -pengguna aktif Sesetengah kaedah yang mengesyorkan secara langsung berdasarkan jujukan tingkah laku sejarah UI mungkin tidak sesuai untuk senario kami. Jadi kami memperkenalkan tiga maklumat adegan berikut untuk meningkatkan maklumat perhubungan UI dalam domain Alipay:

• Sosial Hubungan UU rangkaian
• Hubungan graf II
• Perhubungan UI dalam senario lain

Keutamaan klik rakan pengguna aktif rendah boleh diperoleh melalui hubungan UU daripada rangkaian sosial. Menurut Homogeneity boleh digunakan untuk membuat kesimpulan pilihan klik pengguna Hubungan graf antara item boleh menemui dan mengembangkan maklumat keutamaan pengguna untuk item yang serupa Akhirnya, tingkah laku pengguna dalam senario merentas domain tugas cadangan senario semasa.

02Pengesyoran berasaskan graf

Tingkah laku pengguna dalam banyak senario pengesyoran adalah jarang Terutamanya apabila mencirikan pengguna baharu, terdapat sangat sedikit maklumat tingkah laku yang tersedia, jadi biasanya perlu memperkenalkan banyak maklumat tambahan, seperti atribut, konteks, imej, dll. Apa yang kami perkenalkan di sini ialah graf pengetahuan.

1 Cabaran sedia ada

​Graf pengetahuan adalah besar. dan Pengetahuan pakar sejarah yang lengkap berguna untuk pengesyoran algoritma kami, tetapi masih terdapat dua masalah:

Pertama, Graf itu sendiri mungkin tidak direka untuk perniagaan ini, jadi ia mengandungi banyak maklumat yang tidak berguna, dan proses latihan juga sangat memakan masa. Penyelesaian biasa ialah dengan hanya menyimpan tepi dalam graf yang boleh dikaitkan dengan produk kami dan memadamkan semua tepi lain, tetapi ini mungkin menyebabkan kehilangan maklumat, kerana tepi lain juga berguna .

Yang kedua ialah apabila graf digunakan sebagai maklumat tambahan, tiada cara untuk mengagregat pilihan pengguna ke tepi di dalam graf . Seperti yang ditunjukkan dalam rajah di atas, sebab pengguna 1 menyukai filem 1 dan filem 2 mungkin kerana mereka mempunyai peranan lakonan yang sama, manakala sebab pengguna 2 menyukai filem 2 dan filem 3 adalah kerana mereka daripada genre yang sama. Jika anda hanya menggunakan perhubungan UI dan II model graf biasa untuk memodelkan, anda hanya boleh mendapatkan korelasi antara pengguna dan filem, tetapi tiada cara untuk mengagregatkan potensi niat pengguna ini ke dalam graf.

Jadi kami akan menyelesaikan dua masalah penyulingan peta dan penapisan peta kemudiannya.

2 Kaedah sedia ada

① Model berasaskan benam

Kaedah berasaskan benam mula-mula menukarkan nod dalam graf menjadi kaedah pembelajaran Benam melalui perwakilan graf, dan kemudian menukar Benamkan Disambungkan terus kepada model UI. Kaedah jenis ini mempelajari korelasi dalam graf terlebih dahulu dan menukarnya kepada Pembenaman, jadi sukar untuk mengukur persamaan antara pengguna dan kelebihan pengetahuan, dan tidak menyelesaikan masalah penyulingan graf dan penapisan graf.

② Model berasaskan laluan

Berasaskan laluan model Kaedah menguraikan graf kepada berbilang laluan meta berdasarkan tepi pengetahuan dalam graf, tetapi proses membina laluan meta memerlukan banyak pengetahuan pakar dan tidak menggambarkan keutamaan pengguna untuk kelebihan pengetahuan.

③ Model berasaskan GCN

Kaedah berasaskan GCN memodelkan hubungan UI dan II, dan secara amnya menggunakan kaedah perhatian untuk mengambil pemberat yang berbeza mengikut jenis tepi yang berbeza, tetapi berat tepi hanya berkaitan dengan perwakilan nod pada kedua-dua hujung tepi, dan tiada kaitan dengan perwakilan nod sasaran.

3 Penyelesaian

​Model yang kami cadangkan terbahagi terutamanya. ke Dalam Ia terdiri daripada 4 bahagian Pertama, perwakilan graf diperoleh melalui pembelajaran perwakilan graf, dan penyebaran kebergantungan pengetahuan digunakan untuk belajar dan agregat untuk mendapatkan kepentingan tepi yang berbeza dalam graf, dan kemudian perhatian bersyarat ditambah untuk melakukan Peta diperhalusi, dan akhirnya model menara berkembar dibuat untuk mendapatkan hasilnya.

Butiran khusus setiap bahagian diperkenalkan di bawah:

① Lapisan pembelajaran perwakilan graf

Apa yang kami gunakan di sini ialah perwakilan graf TransH tradisional model, Kerana terdapat banyak tepi banyak-ke-satu dan satu-ke-banyak dalam graf kami. Setiap nod dipetakan ke ruang yang sepadan dengan tepi melalui TransH, dan persamaan kedua-dua tepi diukur dalam ruang ini.

② Lapisan pembelajaran perwakilan graf

Selepas mempelajari perwakilan tepi graf, agregat perwakilan tepi graf dalam jiran, dan kemudian hitung kos bagi ruang tepi yang berbeza Jarak diwakili sebagai pengagregatan berwajaran titik dalam graf. Oleh kerana tepi dalam graf sangat bising, kami akan melakukan pensampelan dan sampel tambahan pada subgraf sasaran berdasarkan pemberat yang kami pelajari Subgraf sasaran ialah subgraf tertib kedua pengguna dan hasil gabungan dalam subgraf yang lebih kecil.

③ Lapisan pembelajaran perwakilan graf

Selepas mendapat subgraf, kami melakukan perhatian bersyarat untuk mengukur kepentingan kelebihan yang diberikan kepada pengguna dan produk. Kepentingan tepi boleh dibahagikan kepada dua bahagian Satu ialah kelebihan itu sendiri sangat penting, dan satu lagi ialah pengguna memberi perhatian yang besar kepada tepi ini. Kepentingan tepi itu sendiri telah dipelajari dalam perhatian yang bergantung kepada pengetahuan dalam langkah sebelumnya. Kepentingan pengguna terhadap tepi dibuat dengan menggabungkan perwakilan semua set sasaran dan perwakilan kedua-dua titik akhir. tepi menjadi perhatian Dapatkan perhatian bersyarat, dan kemudian lakukan beberapa pengagregatan berdasarkan perhatian bersyarat.

④ Menara BerkembarModel

​Akhir sekali, buat model menara berkembar untuk mengukur kerugian berpasangan dan gunakan kaedah seperti Adam untuk mengoptimumkan graf secara serentak kehilangan pembelajaran perwakilan dan kehilangan sasaran sistem pengesyoran , kerumitan algoritma kami adalah berkaitan secara linear dengan bilangan mata dan tepi.

4. Keputusan eksperimen

① Set data eksperimen dan model penanda aras Pilih

​Kami memilih beberapa set data sistem pengesyoran serta graf pengetahuan Mengenai set data pengesyoran dana perniagaan kami, garis dasar terutamanya termasuk kaedah CKE berasaskan ketetapan, kaedah NMF berasaskan penguraian matriks, kaedah graf heterogen berasaskan Laluan RippleNet dan KGAT berasaskan GCN.

②Attention visualization

​Dalam perhatian Pengetahuan di sebelah kiri, nilai pada setiap tepi hanya berkaitan dengan nod di kedua-dua hujungnya, U₅₃₂ dan i Nilai pada ₁₆₇₈ adalah sangat kecil, jadi sukar untuk mencuba kelebihan ini nanti. Dua pengguna di sebelah kanan ialah U₀, tetapi jika produk berbeza, berat keseluruhan imej akan berbeza sama sekali. Dalam ramalanU₀- i₂₄₆₆ dan U₀-i Apabila korelasi ₇₈₀ dicapai, berat laluan paling kanan kedua-dua graf adalah berbeza sama sekali dan U₀-i₂₄₆₆ Jalan paling kanan mempunyai berat yang lebih besar kerana dalam meramalkan U₀- Jalan paling betul adalah lebih penting apabila ia berkaitan dengan korelasi i₂₄₆₆.

③Penilaian Model

​Kami mengukur kesan model pada pengesyoran Top-K dan tugas klik CTR Berbanding dengan model garis dasar, kami mengesyorkan dana dalam talian A /B eksperimen ujian juga membawa peningkatan dalam prestasi. Akhir sekali, kami menjalankan eksperimen ablasi, dan keputusan menunjukkan bahawa kesan mengalih keluar perhatian bersyarat atau model perhatian pengetahuan akan berkurangan, membuktikan keberkesanan penambahbaikan yang kami buat.

03Syor sosial dan berasaskan teks

Apa yang kami ada di sini adalah berdasarkan Sosial dan pengesyoran teks bukanlah senario pengesyoran dalam erti kata tradisional Ia terutamanya untuk membantu pengendali memahami niat pengguna dan mencipta beberapa kandungan baharu dan iklan baharu untuk pengguna untuk membimbing pertumbuhan pengguna<.>. Sebagai contoh, bagaimana untuk mereka bentuk penutup cadangan ikat pinggang Hanya selepas memahami sepenuhnya niat pengguna barulah pengendali mereka bentuk kandungan yang memenuhi jangkaan psikologi pengguna.

1. Cabaran Sedia Ada

Cara semula jadi ialah menggunakan Topik Model mengukur pengedaran pengguna kepada niat dan niat kepada produk Ia menganggap pengguna sebagai dokumen dan produk sebagai perkataan untuk menguraikan niat pengguna. Tetapi sebenarnya, klik pengguna adalah jarang, terutamanya apabila pelanggan sasaran kami adalah pengguna aktif rendah, dan klik produk mengikut pengedaran ekor panjang, menjadikannya sukar untuk menangkap minat dan niat pengguna.

2. Penyelesaian

​Mula-mula kita menggabungkan kedua-dua hubungan UU dan UI perhubungan Sertai GNN untuk mempelajari dan mengukur gelagat klik pengguna Kemudian kami membuat anggaran kepada pengedaran sebelumnya niat pengguna yang telah dipelajari Pengedaran terdahulu Model Topik tradisional ialah pengedaran Dirichlet kepada taburan Dirichlet, dan pembelajaran taburan ini boleh dibezakan melalui beberapa kerja parameterisasi berat.

​Selepas mempelajari hubungan antara pengguna, langkah seterusnya ialah mempelajari hubungan antara korpus. Terdapat program kecil dalam gambar di atas, yang mengandungi penerangan teks Ia menggunakan model langkau-gram untuk mengira persamaan antara item dan sampel positif dan negatif, mendapatkan persamaan perkataan, dan memetakan persamaan. perkataan kepada perwakilan niat pengguna melalui DNN , dan akhirnya taburan kekangan divergence KL diselaraskan dengan bentuk yang kita inginkan.

3. Hasil percubaan

Set data kami ialah data klik pengguna selama 7 hari berturut-turut, termasuk Terdapat kira-kira 500,000 pengguna, 9,206 item dan 200 juta gelagat klik sejarah pengguna Rangkaian sosial merangkumi 7 juta tepi, dan setiap pengguna mempunyai purata 14-15 nod jiran.

Kami menjalankan ujian percubaan luar talian dan dalam talian masing-masing Percubaan luar talian mengukur persamaan antara pengguna di bawah bilangan topik yang berbeza. persamaan antara jantina dan semantik. Percubaan dalam talian memberi suapan kembali kepada operasi niat pengguna yang diramalkan oleh model kami dan teks penerangan reka bentuk operasi dan halaman paparan berdasarkan niat pengguna untuk membuat pengesyoran dalam talian. Pautan percubaan model keseluruhan mungkin agak panjang, kerana beberapa bahan akan dihasilkan di tengah-tengah operasi Matlamat percubaan A/B dalam talian dibahagikan kepada dua bahagian Satu bahagian ialah operasi untuk mereka bentuk bahan maklum balas model kami, dan bahagian lain adalah menggunakan pengalaman pakar sejarah. Keputusan percubaan menunjukkan bahawa model kami telah dipertingkatkan dengan baik dalam kedua-dua percubaan luar talian dan dalam talian berbanding sebelum ini.

04Pengesyoran merentas domain

​Sasaran pengesyoran kami ialah pengguna aktif rendah, yang mungkin tidak mempunyai teg, tiada ciri atau tidak pernah menggunakan Alipay. Dalam rajah di atas, kami mula-mula menganalisis persamaan antara pengguna, di mana biru mewakili persamaan tingkah laku dengan orang yang tidak dikenali, dan merah mewakili persamaan tingkah laku dengan rakan Keputusan menunjukkan bahawa rakan yang mempunyai hubungan yang lebih rapat mempunyai tahap pertindihan tingkah laku yang lebih tinggi, jadi kami Rakan pengguna maklumat tingkah laku boleh digunakan sebagai tambahan kepada maklumat pengguna. Kemudian kami menganalisis bilangan rakan pengguna aktif dan pengguna tidak aktif, dan mendapati bilangan rakan pengguna aktif adalah lebih banyak berbanding pengguna tidak aktif, jadi kami tertanya-tanya jika kami bolehmenghijrahkan maklumat klik pengguna aktif ke rakan mereka yang tidak aktif datang untuk membantu dengan cadangan.

​Jadi model A kami idea teras adalah untuk menyelaraskan ruang ciri pengguna aktif dan pengguna tidak aktif Oleh kerana pengguna tidak aktif kehilangan banyak ciri, jadi ciri dia dan pengguna aktif Space sememangnya berbeza. . Di sini kami menggunakan GNN untuk mempelajari perwakilan pengguna dan memetakan perwakilan pengguna ke dalam ruang bersama. Seperti yang ditunjukkan dalam rajah di atas, lapisan atas struktur CD-GNN ialah pengguna aktif yang ingin kita ramalkan, dan lapisan bawah ialah pengguna tidak aktif yang ingin kita ramalkan Selepas belajar daripada dua GNN, ia dipetakan kepada a pengguna kongsi melalui lapisan invarian domain Dari segi perwakilan, kami akhirnya membuat ramalan label untuk pengguna aktif dan pengguna tidak aktif.

Khususnya, model graf termasuk rangkaian Sosial dan rangkaian Halaman Pengguna, dan melakukan pengagregatan berbeza bagi kedua-dua rangkaian dan menggunakan Lapisan Invarian Domain untuk menggabungkan pengguna aktif dan pengguna Tidak aktif dipetakan ke ruang yang sama, dan kerugian akhir=Kehilangan sumber+Kehilangan sasaran-Kehilangan invarian domain. Keputusan percubaan A/B dalam talian menunjukkan bahawa model kami telah meningkatkan CTR dengan banyak berbanding GCN dan model kami masih boleh mencapai hasil yang baik apabila tingkah laku jarang.

​Di atas adalah sebahagian daripada hasil terbaharu yang diterbitkan oleh pasukan kami, saya terutama bercakap tentang kerja di atas tiga artikel.

05Soal Jawab Interaktif

S1: Parameter lapisan CD-GNN Adakah ia dikongsi?

J1: Ia tidak dikongsi, kerana beberapa ciri pengguna aktif, seperti ciri ID, adalah lebih banyak daripada ciri pengguna tidak aktif ciri-ciri kedua-duanya Pengagihan tidak konsisten, jadi kami tidak berkongsi di sini.

S2: Dalam masalah pengesyoran merentas domain, bilangan Label Sasaran pengguna tidak aktif adalah sangat kecil, yang menyebabkan model mempunyai kesukaran mempelajari Pembenaman Sasaran pengguna tidak aktif, bagaimana kita harus mempertimbangkan isu seperti ini?

J2: Anda boleh menggunakan beberapa kaedah terlatih untuk menambah beberapa maklumat perwakilan terlebih dahulu, atau menambah ciri yang hilang melalui beberapa kaedah. Anda boleh menambah ciri semasa membina model graf dan menambah ciri jiran dan bukannya mengagregatkan ciri jiran Menambah kerugian yang serupa dengan pembinaan semula ciri boleh membantu menyelesaikan masalah ini.

S3: Adakah kaedah berasaskan graf pertama dilaksanakan dalam adegan latihan halus? Berapakah tahap yang biasanya dicapai oleh GNN di dalamnya?

A3: Bahagian pengesyoran dana kami hanya mendedahkan 5 dana kepada pengguna Tidak seperti senario lain di mana senarai disyorkan, mungkin terdapat Dengan ratusan keping daripada maklumat, pengguna boleh melihat kelima-lima dana ini sepintas lalu, dan kesan penyusunan semula adalah tidak hebat. Hasil model kami disambungkan secara langsung dalam talian, yang merupakan model yang diperhalusi. Secara amnya, GNN dua peringkat digunakan GNN peringkat ketiga tidak banyak bertambah baik dalam beberapa tugas, dan kelewatan dalam talian terlalu lama.

Atas ialah kandungan terperinci Aplikasi pembelajaran mesin graf dalam perniagaan pengesyoran Ant Group. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!