Mengapa Weibo ketagihan? Penyahsulitan algoritma pengesyoran di belakang tabir

Pada 13 Julai 2021, golongan muda yang telah bekerja keras selama sehari akan berbaring dan mengeluarkan telefon bimbit mereka, membuka Apl Xiaopozhan yang biasa digunakan dan menyambung ke video terbaharu hos kegemaran mereka. dengan satu klik.

Akibatnya, saya tiba-tiba mendapati penglihatan saya menjadi gelap:

Setahun kemudian, Stesen B Rahsia akhirnya terbongkar: "scheming 0".

Namun, pernahkah anda terfikir mengapa Weibo ini tidak tumbang walaupun dengan kemasukan pengguna yang gila?

Apakah hubungan antara AI dan Weibo?

Sebelum merungkai misteri ini, kita perlu bermula dengan pembangunan kecerdasan buatan.

Pada 27 Julai, Persidangan Bijak Baharu "Ekosistem Bersepadu dan Penciptaan Nilai" 2022 telah berjaya diadakan di bawah bimbingan Persatuan Internet China dan dihoskan oleh Weibo dan Sina News.

Dalam topik "Kecerdasan memacu segala-galanya: AI memacu ketibaan pantas Internet Segala-galanya", COO Weibo, Ketua Pegawai Eksekutif Sina Mobile dan Dekan Institut Penyelidikan Media AI Sina, Wang Wei menyampaikan ucapan bertajuk Ucaptama mengenai "Cloud Memperkasa Senario Perniagaan Kompleks Weibo untuk Aplikasi Bersepadu Teknologi Digital dan Pintar".

Wang Wei berkata jika kita melihat kembali sejarah perkembangan mesin pembelajaran, kita boleh Dapat dilihat bahawa trend pembangunan keseluruhan AI ialah: kuantiti besar-besaran dan kepelbagaian data latihan, kerumitan dan generalisasi model AI, dan kecekapan dan skala kuasa pengkomputeran.

Yang pertama ialah gabungan data berbilang modal.

Dengan perkembangan pesat 5G, kandungan modal jenis imej dan video menyumbang perkadaran kandungan dalam talian yang semakin meningkat, jadi gabungan modal amat diperlukan.

Untuk Weibo, jika anda boleh melakukan gabungan pelbagai mod teks, gambar dan video pada masa yang sama, anda boleh memahami kandungan Weibo ini dengan lebih baik.

Kedua, ia ialah pengkomputeran graf berskala ultra-besar.

Berbanding dengan model pembelajaran mesin lain, pengkomputeran graf berskala ultra besar mempunyai kelebihan istimewa: ia menggalakkan aliran, pengagregatan dan penyepaduan maklumat melalui penghantaran maklumat dalam rangkaian.

Sebagai contoh, bagi pengguna yang mula dingin dengan sedikit tingkah laku, kita boleh menyimpulkan minat pengguna melalui penyebaran maklumat melalui orang dalam senarai perhatiannya dan kandungan yang disiarkan oleh orang ini.

Yang ketiga ialah mod dumbbell yang dibangunkan oleh AI.

Tumpuan semasa penyelidikan dan pembangunan AI ialah satu model super yang semakin besar, dan satu lagi ialah teknologi pengecilan model.

Kita semua tahu bahawa apabila skala parameter model semakin besar dan lebih besar, kesan model semakin baik dan lebih baik, dan model berketepatan tinggi masih meningkat Sebagai contoh, dalam 2018, Google's Bert hanya Apabila ia keluar, saiz parameter model ialah 300 juta, yang tidak terlalu besar, tetapi sejak itu jumlah ini berkembang pesat.

Model GPT-2 yang dibangunkan oleh OpenAI mempunyai saiz parameter 1.5 bilion, model GPT-3 mempunyai saiz parameter 175 bilion, dan oleh Switch Transformer yang dikeluarkan oleh Google dalam 2021, saiz parameter telah mencapai 1.6 trilion.

Sebaliknya, walaupun lebih besar model, lebih baik kesannya, tetapi kerana model terlalu besar, ia kadang-kadang tidak dapat dilaksanakan. dalam aplikasi praktikal. Oleh itu, satu lagi fokus penyelidikan dan pembangunan adalah untuk mengecilkan dan meringankan model besar ini, seperti penyulingan model, pemangkasan model dan teknologi lain.

Keempat, model AI bergerak daripada model khusus kepada model umum.

Google mendedahkan rangka kerja model Pathways pada separuh kedua 2021. Ia mula-mula mencadangkan idea ini, dengan harapan untuk mencapai "satu model boleh melakukan puluhan juta tugas" dengan membina matlamat "benda" umum.

Idea khusus ialah selepas data tugasan berbeza dimasukkan, sebahagian daripada laluan rangkaian saraf dipilih melalui algoritma penghalaan untuk mencapai lapisan keluaran model. Tugasan yang berbeza mempunyai kedua-dua perkongsian parameter dan parameter model khusus tugas.

Graf yang sangat besar dengan 1 bilion nod + 10 bilion tepi

Mengapa anda menghabiskan masa yang lama bercakap tentang pembelajaran mesin? Kerana apa yang akan datang adalah "Sistem Pengesyoran Ditampilkan Weibo".

Seperti yang kita sedia maklum, sebagai rangkaian media sosial terbesar di China, pengguna aktif bulanan Weibo sekarang telah mencecah 582 juta! Skala pengguna yang begitu besar sudah pasti akan menjadikan persekitaran rangkaian di Weibo sangat rumit.

Ditambah dengan ketepatan masa yang tinggi dan kepelbagaian kandungan yang tinggi, acara Internet utama hari ini akan meletup di Weibo serta-merta.

Selain itu, senario yang dihadapi oleh Weibo masih sangat pelbagai, dan perlu untuk mengedarkan "ribuan orang, ribuan muka" kepada pengguna dalam banyak senario seperti aliran perhubungan, kandungan aliran titik panas, aliran video, dsb.

Saya boleh hidup tanpa jari, tetapi saya tidak boleh hidup tanpa telefon saya

Face Dalam senario perniagaan yang kompleks, bagaimanakah Weibo menggunakan AI dan data besar untuk mencipta sistem pengesyoran yang boleh menyesuaikan diri dengan keadaan yang berubah-ubah?

Wang Wei memperkenalkan kepada kami bahawa sistem pengesyoran Weibo terdiri daripada tiga bahagian: pemahaman kandungan, pemahaman pengguna dan sistem pengesyoran.

Pertama sekali, ia adalah pemahaman kandungan.

Jika anda ingin memahami apa yang dikatakan oleh Weibo, tidak cukup dengan hanya memahami kandungan teks Anda mesti menggunakan teknologi pemahaman berbilang modal untuk menyepadukan catatan blog, gambar, dan video dan maklumat media lain.

Untuk tujuan ini, Weibo telah melatih model pra-latihan pelbagai mod Weibo sendiri Melalui "pembelajaran kontrastif", kaedah pembelajaran penyeliaan kendiri ini digunakan untuk menjalankan pra-latihan pelbagai modal -latihan.

Contoh di bawah menunjukkan cara Weibo menggunakan "topik"nya sendiri untuk membina data latihan secara automatik.

Sebagai contoh, kami mengambil dua siaran Weibo yang kedua-duanya menyebut "Rashford dalam latihan" sebagai contoh positif dan secara rawak memilih beberapa Microblog topik berbeza digunakan sebagai contoh negatif, supaya data latihan boleh dibina secara automatik.

Untuk Weibo tertentu, kandungan teks dikodkan oleh Bert, kandungan imej dan video dikodkan oleh ViT, dan kemudian maklumat itu digabungkan melalui sub-rangkaian gabungan untuk membentuk membenamkan pengekodan Weibo. Ini adalah sejenis proses pra-latihan.

Selepas pra-latihan, pengekod Weibo yang telah dipelajari dengan baik boleh digunakan untuk mengekodkan kandungan Weibo baharu secara berbilang mod untuk membentuk pembenaman, yang boleh digunakan dalam tugas hiliran seperti pengesyoran.

Kedua, dari segi pemahaman pengguna, Weibo menggunakan pengkomputeran graf berskala ultra-besar untuk lebih memahami minat membaca pengguna. Lagipun, Weibo mempunyai atribut media sosialnya sendiri, yang secara semulajadi memadankannya dengan baik dengan pengkomputeran graf berskala besar.

Menggunakan pengguna dan catatan blog sebagai nod dalam graf, membina tepi dalam graf berdasarkan hubungan perhatian antara pengguna, pengguna dan pembacaan catatan blog, mengulas semula dan menyukai, dsb. , Weibo mewujudkan graf yang sangat besar yang mengandungi 1 bilion nod dan 10 bilion tepi telah dicipta.

Melalui penyebaran maklumat, pengagregatan dan penyepaduan dalam pengkomputeran graf berskala besar untuk membentuk vektor pembenaman yang mewakili minat pengguna, minat pengguna boleh difahami dengan lebih baik.

Dengan cara ini, adalah mungkin untuk mengendalikan hubungan berikut antara pengguna, ulasan semula dan suka antara pengguna dan siaran blog, dsb. pada masa yang sama.

Setelah memahami perkara yang dibincangkan pengguna dan memahami minat pengguna Weibo, sistem pengesyoran Weibo akan memperibadikan Weibo berkualiti tinggi dan mengedarkannya kepada pengguna yang berminat.

Jadi, bagaimana untuk membina sistem pengesyoran yang cekap dalam senario yang begitu kompleks?

Weibo menggunakan pendekatan pemodelan pelbagai senario. Situasi yang ideal adalah untuk membina hanya satu model pengesyoran dan menggunakannya untuk menyampaikan pelbagai senario.

Jadi bagaimana untuk menyatakan persamaan dan keperibadian antara adegan? Parameter rangkaian boleh dikongsi antara adegan, atau adegan boleh mempunyai parameter rangkaian peribadi eksklusif untuk mencerminkan kesamaan dan keperibadian adegan.

Sebagai contoh, dalam rajah model ini, dalam lapisan input ciri bawah model dan sebahagian daripada "sub-rangkaian pakar" dalam tengah rangkaian, parameter rangkaian ini Dikongsi oleh setiap adegan manakala parameter subrangkaian lain adalah unik untuk adegan tertentu

Dengan cara ini, satu model boleh menyajikan berbilang adegan dan menjimatkan sumber model.

Insiden Tangshan: Apakah yang perlu saya lakukan jika trafik meningkat dua kali ganda?

Sekarang, mari kita kembali kepada "suspensi" asal.

Bagi Weibo, tempat panas ini yang akan "meletup" jika ia tidak dilindungi sepenuhnya sentiasa menjadi cabaran yang sangat besar.

Contohnya, "Insiden Tangshan" yang menarik perhatian negara baru-baru ini, trafik titik panas pada hari kejadian meningkat dua kali ganda daripada trafik harian puncak.

Wang Wei berkata dalam hal ini bahawa Weibo telah menggunakan perkhidmatan mikro + teknologi kontena Docker sangat awal, yang bukan sahaja meningkatkan kecekapan operasi dan penyelenggaraan perkhidmatan. , dan juga merealisasikan keupayaan pengembangan dan penguncupan dinamik perkhidmatan. Pada masa ini, Weibo mempunyai kapasiti untuk menjadualkan lebih daripada 10,000 pelayan dalam masa 10 minit, dan mempunyai pelayan yang mencukupi untuk mengendalikan trafik panas.

Selain itu, Weibo juga telah mewujudkan mekanisme pemantauan hotspot dan sistem pautan hotspot, dan melalui teknologi Weibo Mesh yang dibangunkan oleh Weibo, ia dapat merealisasikan panggilan silang bahasa yang cekap antara perkhidmatan yang berbeza, meningkatkan prestasi Perkhidmatan keseluruhan dan kecekapan pengembangan rangkaian.

Akhir sekali, Weibo menggunakan teknologi penggunaan hibrid masa nyata luar talian. Gabungan teknologi penjadualan awal masa nyata CPU dan teknologi kontena digunakan untuk mencapai keupayaan penggunaan hibrid masa nyata luar talian bagi perkhidmatan Weibo.

Selepas menggabungkan operasi di atas, apabila trafik panas datang, anda boleh mengambil alih trafik panas perkhidmatan teras dalam beberapa saat. Akhir sekali, mari kita semak sejarah perkembangan Internet.

Jika Internet PC adalah permulaan dunia dalam talian, maka kebangkitan Internet mudah alih membolehkan kami meletakkan ruang maklumat yang tidak kelihatan ini di dalam poket kami. Dengan tindanan dan penyepaduan data besar, pengkomputeran awan, kecerdasan buatan dan teknologi lain dengan Internet mudah alih, kami telah memasuki era maklumat pintar.

Dan kini, topik paling hangat ialah multiverse. Sejak tahun lepas, Metaverse telah mencetuskan perbincangan yang meluas, seperti kembar digital, orang digital, XR, teknologi blockchain, dll.

Wang Wei percaya bahawa senario aplikasi semasa berdasarkan teknologi canggih seperti AI, rantaian blok dan XR telah mencerminkan beberapa prototaip metaverse. Bidang seperti permainan dan rangkaian sosial adalah senario aplikasi yang sangat baik untuk Metaverse, yang akan mencetuskan semangat semua orang untuk menyertai Metaverse.

Atas ialah kandungan terperinci Mengapa Weibo ketagihan? Penyahsulitan algoritma pengesyoran di belakang tabir. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!