Perbualan eksklusif dengan Li Yan: Dibiayai oleh Suhua, Jingwei, dan Redpoint, permulaan "cadangan generatif" pertama |

^{Manusia sedang memulakan kemas kini yang meletup dalam bidang kecerdasan buatan Setiap langkah dalam pengembangan teknologi kepada yang tidak diketahui menarik perhatian yang hampir menakjubkan.}

^{Dalam proses memperluaskan sempadan kecerdasan buatan, inovasi dan perbezaan dalam laluan teknikal di landasan penting wujud bersama. Pertimbangan dan pilihan perintis teknologi mempengaruhi jejak ramai pengikut.}

^{Pada tahun lalu, laman web ini secara eksklusif telah memimpin dalam memperkenalkan syarikat cemerlang seperti Dark Side of the Moon, Teknologi Shengshu, Teknologi Aishi dan Wuwen Core Dome kepada semua orang, meninggalkan mereka dengan "sepuluh ribu perkataan pertama" " dalam dunia Internet. Transkrip temu bual." Pada peringkat laluan teknologi masih belum tertumpu, kita melihat kepimpinan usahawan AI yang benar-benar mempunyai kepercayaan, keberanian dan kognisi yang sistematik.}

^{Oleh itu, kami melancarkan lajur "AI Pioneers", dengan harapan dapat terus mencari dan merekodkan usahawan yang mempunyai kualiti kepimpinan dalam pelbagai subbahagian kecerdasan buatan dalam era AGI, memperkenalkan pemula yang paling cemerlang dan berpotensi tinggi dalam AI ​jejak, dan kongsi Mereka mempunyai pengetahuan yang paling canggih dan tersendiri dalam bidang AI.}

^{Pengarang: Jiang Jingling}

^{Tapak ini melaporkan}

Selepas meninggalkan Kuaishou untuk memulakan perniagaan, "Li Yan" secara senyap-senyap menerima pusingan pembiayaan benih AS$32 juta daripada pengasas bersama Kuaishou Su Hua, Redpoint Ventures dan Matrix Partners.

Sebagai tokoh teras sistem AI awal Kuaishou, Li Yan pernah membina jabatan pembelajaran mendalam pertama dalam Kuaishou, dan kemudiannya membantu Kuaishou membina sistem teknologi Pemahaman Multi-Media.

Salah seorang pelaburnya membuat kesimpulan bahawa antara tiga potret keusahawanan AGI profesor dan cendekiawan, pelaku Internet mudah alih dan jenius akademik, Yuanshi Technology adalah satu-satunya yang mampu menyepadukan "multi-modal, search , recommend" pasukan daripada tiga susunan teknologi teras ini.

Namun, sejak Li Yan secara rasmi mengesahkan bahawa dia memulakan perniagaan sendiri pada awal 2023, dia hampir menghilangkan diri selama lebih setahun.

Pada tahun lalu, kami telah menghantar banyak jemputan temu duga kepada pasukan Li Yan, dengan harapan dapat bercakap dengannya tentang idea keusahawanannya, tetapi kami semua ditolak dengan "produk belum siap lagi (umum)".

Tidak lama dahulu, produk Yuanshi Technology "Ask Xiaobai" telah dilancarkan secara rasmi, dan ujian dalaman permulaan dingin ini juga merupakan kali pertama pasukan Li Yan mendedahkan kemajuan keusahawanannya. Jadi kami menemui Li Yan sekali lagi, dengan harapan dapat bercakap dengannya tentang rancangan keusahawanannya.

Dalam temu bual eksklusif ini, tanpa diduga, pilihan Li Yan bukanlah syarikat model tulen, malah dia tidak bermula dari aspek multi-modal.

Dalam produk "Tanya Xiaobai", pengguna boleh melihat kandungan AIGC yang dihasilkan oleh AI diperibadikan berdasarkan minat pengguna dalam "suapan" sebaik sahaja mereka membuka skrin, dan boleh menggunakan fungsi "sembang" pada bila-bila masa untuk berinteraksi dengan Kandungan berasaskan AI adalah lebih interaktif.

Boleh difahami bahawa ini adalah produk komuniti kandungan generatif berdasarkan model LLM yang dibangunkan sendiri Berbanding dengan produk komuniti kandungan sebelumnya, Tindakan Li Yan terletak pada "cadangan generatif".

Ini adalah bidang penyelidikan teknologi termaju, dan setakat ini hanya Meta dan CMU yang mempunyai beberapa hasil pelaksanaan. Dia memberitahu saya bahawa berbanding dengan algoritma pengesyoran sebelumnya, algoritma pengesyoran generatif tidak akan lagi berdasarkan sistem pengesyoran penapisan kolaboratif, dan pengesyoran akan menjadi lebih pintar, daripada "ribuan orang dengan sepuluh muka" semasa kepada pengertian sebenar "ribuan orang yang bermuka sepuluh". Manusia mempunyai beribu-ribu muka."

Dengan meneroka keperluan pengguna yang lebih mendalam, kecekapan pengesyoran dipertingkatkan lagi dan pengguna boleh mendapatkan maklumat yang lebih sesuai untuk mereka. Selain itu, penyerapan sejumlah besar korpus berkualiti tinggi ke dalam model besar memberikan algoritma cadangan generatif "nilai." Anda tidak boleh lagi hanya "tolong" pengguna, tetapi membimbing pengguna untuk memberi perhatian kepada maklumat berkualiti tinggi yang benar-benar memerlukan perhatian.

Pada masa ini di China, pasukan Li Yan ialah syarikat permulaan pertama yang menggunakan algoritma pengesyoran generatif dipacu LLM sebagai teras arah produk dan pembangunannya.

Seorang pelabur Yuanshi percaya bahawa pengoptimuman kos dan kecekapan yang dibawa oleh enjin teknologi baharu ini kepada industri kandungan pada dasarnya konsisten dengan laluan kejayaan Toutiao. Dalam proses membuat produk algoritma pengesyoran generatif, "Kami melihat bahawa satu-satunya pasukan dengan tiga latar belakang: berbilang modal, carian dan pengesyoran ialah Li Yan."

Vision: Buat algoritma cadangan yang lebih tinggi dimensi

Tapak ini: Mari kita memperkenalkan apa yang diharapkan oleh Yuanshi Technology.

Li Yan: Kami berharap dapat membantu pengguna memasuki keadaan aliran dan melawan keletihan mental melalui inovasi teknologi dan pengumpulan kecerdasan. (Daripada teori "aliran" Mihaly Csikszentmihalyi)

Laman ini: Ia agak abstrak, bolehkah anda menerangkannya dengan lebih lanjut? .

Sebagai contoh, dalam WAIC baru-baru ini, anda mungkin melihat laporan yang memberangsangkan, tetapi setiap laporan hanya mengandungi beberapa perkataan, tetapi anda tidak boleh mendapatkan maklumat yang anda benar-benar mengambil berat kebimbangan.

Kami faham bahawa ini adalah sejenis "entropi mental",

Konsep ini dicadangkan oleh ahli psikologi Mihaly Csikszentmihalyi, dan ia sangat tepat padan dengan apa yang ingin kami lakukan. Apa yang kami mahu lakukan ialah membantu semua orang meningkatkan kegembiraan dan rasa keuntungan mereka selepas melihat maklumat tersebut.Keadaan ini akan berbeza daripada "lebih cemas, lebih letih, dan lebih gembira" yang kita rasai selepas penggunaan berat beberapa produk maklumat.

Tapak ini: Apakah jenis maklumat yang akan membuatkan orang berasa lebih gembira dan lebih bermanfaat, bukannya lebih cemas dan letih?

li yan: Terdapat konsep "aliran" di sini. daripada melihat banyak perkara yang tiada kaitan dengan anda atau yang anda tidak minati.

Ini juga adalah hasil kajian psikologi untuk memberi contoh yang spesifik, contohnya, ibu bapa meminta anak-anak mereka membuat kerja rumah, walaupun akhirnya, anak itu pasif dan sangat menyakitkan dia nak buat bila buat sesuatu, dia akan rasa seronok. Jadi kami berharap dapat membantu pengguna memasuki keadaan aliran dan melawan entropi mental.

Tapak ini: Sebenarnya, sistem pengesyoran asas kebanyakan komuniti sosial kini pada asasnya berharap untuk mencapai matlamat ini (syorkan kepada pengguna perkara yang mereka benar-benar mahu lihat)?

Li Yan: Ada perbezaan. Jika kita berdiri sepuluh tahun kemudian, pada tahun 2034, dan melihat sistem pengesyoran hari ini, termasuk produk dan teknologi di belakangnya, ia sebenarnya sangat mundur. Apa yang dilakukan oleh produk semasa sebenarnya tidak berada dalam keadaan sempurna.

Laman ini: Bagaimana untuk memahami tahap semasa dan tahap "lebih baik"? . Saya mahu "Makan", "Saya mahu menangis", "Saya mahu ketawa", ini sangat langsung.

Renungan dalam sistem pengesyoran mungkin, sebagai contoh, jika anda suka lelaki kacak, mereka akan sentiasa mengesyorkan lelaki kacak kepada anda - sistem pengesyoran tidak mempunyai pemikiran yang terlalu mendalam. Apa yang ingin dicapai oleh produk kami bukanlah untuk menggembirakan reaksi naluri pengguna, tetapi untuk mengesyorkan dengan kebijaksanaan, penjagaan dan kasih sayang yang lebih tinggi.

Tapak ini: Ini kelihatan seperti dimensi estetik yang lebih tinggi, sedikit seperti "mendidik pengguna".

Li Yan: Tepatnya, ini bukan pendidikan. Banyak perkara yang tidak dapat dilihat dengan jelas jika kita melihatnya dalam tempoh yang agak singkat. Tetapi sebagai contoh, jika kita melihat kepada keseluruhan sejarah pembangunan manusia, kita akan dapati bahawa setiap kemajuan tamadun manusia akan disertai dengan kritikan, renungan, dan juga penggulingan dan pembinaan semula beberapa perkara mungkin kelihatan baik sekarang, tetapi pada masa hadapan Mungkin terdapat batasan. Perkara yang sama berlaku dalam dunia dalam talian Kami berharap dapat membawa lebih banyak unsur bertamadun dan idea termaju yang dikumpul oleh manusia ke dalam pengedaran kandungan.

Laluan pelaksanaan teknikal: Pilih data berkualiti tinggi untuk melatih model, supaya model itu mempunyai nilai

Tapak ini: Saya hanya berkata bahawa saya berharap dapat membantu pengguna mencapai aliran lebih baik, mengapa anda mulakan dengan membuat LLM yang lebih baik?

Li Yan:Kami percaya bahawa LLM ialah nod yang sangat penting yang membawa kepada AGI. Model bahasa yang besar boleh memahami pengguna dan kandungan dengan lebih baik, serta mengetahui perkara yang diminati, disukai dan tidak disukai oleh pengguna Semua minat dan hobi peribadi pengguna boleh dijadikan token dan model besar boleh memahaminya dengan baik.

Sistem pengesyoran sebelumnya tidak dapat mencapai tahap pemahaman ini. Sistem ini hanya boleh melabel pengguna dengan banyak label diskret dan menggunakan ini untuk mencuba mencirikan dan memahami pengguna. Kini, model besar bukan sahaja dapat lebih memahami minat sedia ada pengguna, tetapi juga meningkatkan perlombongan minat pengguna dan membuat kesimpulan minat dan hobi tersirat pengguna.

Dengan model yang besar, kami boleh memampatkan korpus berkualiti tinggi di seluruh Internet, memampatkan tamadun manusia yang dibawa dalam teks, menggunakan tamadun ini, dan seterusnya menggunakan keupayaan ini untuk cadangan generatif, ia akan mempunyai nilainya dan pandangan dunia, dan dengan itu mempunyai sistem nilai yang disyorkan berdimensi lebih tinggi.

Model besar sebenarnya memainkan peranan sebagai jambatan, menghubungkan kognisi paling maju ini dengan penggunaan maklumat anda, dan kemudian meningkatkan lagi tahap penggunaan kandungan anda.

Tapak ini: Adakah kandungan "lanjutan" ini merujuk kepada kertas kerja? Adakah ia termasuk kedua-dua sains sosial dan sains semula jadi, atau adakah ia lebih tertumpu pada satu?

Li Yan: Model besar akan membaca semua tamadun maju dan maklumat yang terkumpul oleh manusia di seluruh Internet, dan ia boleh maju dalam semua aspek.

Laman ini: Bagaimanakah model besar menentukan apa itu "tamadun maju"?

li yan: Dalam fakta, kita telah membuat pertimbangan mengenai perkara ini, bukannya model besar. bukanlah definisi model yang besar, tetapi maklumat berkualiti tinggi yang diwujudkan oleh manusia sendiri dalam jangka masa yang panjang.

Tapak ini: Nah, apakah sebenarnya bahagian data berkualiti tinggi ini? sumber?

Li Yan: Kami menghargai pembinaan keupayaan model dipacu data dalam model kami, kami menggunakan algoritma untuk meningkatkan jumlah data berkualiti tinggi yang tersedia dengan lebih daripada urutan magnitud. Di samping itu, dari segi pemilihan data, kami menggunakan lebih banyak buku, teori dan kertas klasik untuk melatih model besar kami, supaya model kami mempunyai keupayaan untuk memahami pengguna dengan lebih mendalam, , apabila ia berkaitan dengan pengesyoran kandungan, kami tidak akan membenarkan pengguna secara membuta tuli kekal dalam keseronokan jangka pendek. Sebaliknya, terdapat kebahagiaan jangka panjang untuk mengumpul maklumat berkualiti tinggi.

Tapak ini: Saya baru sahaja menyebut bahawa algoritma pengesyoran generatif boleh meningkatkan pemahaman pengguna Adakah terdapat sebarang piawaian kuantitatif untuk membandingkan pemahaman pengguna dengan algoritma pengesyoran yang berbeza?

Li Yan:Memandangkan syarikat yang berbeza mengejar matlamat yang berbeza, matlamat pengoptimuman mereka juga berbeza. Secara umumnya, ini mungkin tempoh, kadar klik lalu dan pengekalan. Memandangkan prinsip teknikal dan hala tuju perniagaan kami adalah bidang baharu, kami pada masa ini mempunyai sistem data dalaman yang sangat kompleks untuk menilai perkara ini.

Tapak ini: Di ​​LLM, apakah kelebihan teknikal semasa Yuanshi?

Li Yan:Bermula dari hari pertama penubuhan syarikat, iaitu sekitar April 2023, versi pertama model besar itu berdasarkan seni bina KPM. Pemilihan laluan teknikal keseluruhan dalam pasaran sangat berpandangan ke hadapan. Dari April 2023 hingga sekarang selama lebih setahun, model kami telah mengulangi empat versi. Pada banyak set ujian awam, keputusan kami lebih baik daripada banyak model lain.

Selain itu, korpus berkualiti tinggi kami menjadikan kualiti jawapan sangat tinggi, dan model itu mempunyai keupayaan untuk berfikir secara mendalam. Ketiga, kelajuan model besar kami juga sangat kompetitif, dengan kependaman yang sangat rendah. Kami telah membuat pengoptimuman yang melampau dalam latihan model dan inferens, yang telah banyak mengurangkan kos latihan model besar Kami kini bebas dan tidak perlu membayar untuk kegunaan semasa tempoh puncak.

Laman ini: Mengapakah anda fikir KPM adalah laluan unggul?

Li Yan: Kami percaya bahawa untuk membuat produk kami sendiri, kami memerlukan keupayaan untuk menyepadukan pautan asas model Dalam era model besar, kesan model adalah lebih baik, yang selalunya bermakna bilangan parameter adalah lebih besar. Tetapi sebagai produk kepada c, jika kos inferens model adalah tinggi, ia tidak akan berfungsi secara komersial. Oleh itu, kita memerlukan kedua-dua bilangan parameter yang besar dan kos inferens yang rendah Sebagai prasyarat untuk kebolehlaksanaan komersial, akhirnya kita hanya boleh memilih KPM. Kami memikirkan masalah ini dengan jelas dari hari pertama, dan baris pertama kod yang kami tulis ialah MoE.

Tapak ini: Oleh kerana Yuanshi diletakkan sebagai syarikat aplikasi, adakah anda mempertimbangkan untuk menggunakan beberapa model sumber terbuka semasa proses penyelidikan dan pembangunan, yang mungkin lebih menjimatkan?

Li Yan: Matlamat kami bukan untuk menjadi syarikat peringkat model, tetapi sebab mengapa kami masih memilih untuk membangunkan model besar sendiri adalah kerana kami fikir model orang lain tidak memenuhi matlamat kami. Ya, kami adalah syarikat produk yang didorong oleh model besar kami sendiri.

Kami tidak membuat sebarang percubaan pada model perniagaan di peringkat model Ini berkaitan dengan pengetahuan peribadi saya. Sesetengah orang berpendapat bahawa model besar adalah air dan elektrik, yang bermaksud apabila saya membuat model besar yang baik, anda tidak perlu melakukannya, dan anda semua boleh menggunakan kebolehan saya. Tetapi kami percaya bahawa kepentingan model besar yang lebih besar terletak pada keupayaannya untuk memberi perkhidmatan kepada pengguna secara melampau dan keupayaan berasaskan senarionya. Ia memberi perkhidmatan yang lebih baik kepada pengguna dalam senario tetap dan memberikan pengalaman yang tidak tersedia sepenuhnya sebelum ini.

Selain itu, ternyata keupayaan untuk memperhalusi perubahan adalah terhad. Oleh kerana kami agak inovatif dalam melakukan ini, kami perlu membuat perubahan besar dalam seni bina model asas. Kami juga akan menggunakan model yang dibangunkan sendiri secara dalaman untuk membandingkan dengan model sumber terbuka Fakta telah membuktikan bahawa hasil model yang dibangunkan sendiri dalaman kami adalah jauh lebih baik daripada model sumber terbuka. Oleh kerana model ini dibina sepenuhnya untuk senario saya, banyak kerja telah dilakukan daripada pembinaan data latihan kepada reka bentuk algoritma.

Tapak ini: Anda juga salah seorang peneroka awal pelbagai mod di China Adakah anda mempunyai jadual untuk pelbagai mod?

Li Yan: Pada masa ini, model teks besar masih menjadi teras teras. Ia adalah asas kecerdasan.

產品價值：能夠更關注用戶的個人化需求

本站：元石面上科技產品都不如市面產品會想要定義這樣一款產品？

李岩：我們不是一個針對特定人群的產品，我們面向廣泛的人群，我們也不是一個垂直內容社區。我們認為隨AI生成能力和分發能力的提升，AI時代未來的內容垂類的邊界甚至會越來越模糊。

在產品層面，目前我們產品有兩個功能，一個是Feed一個是Chat。我們叫「問小白」，一個方面就是使用者生活中有什麼問題，都可以去問ta。另一方面是由小白「問」，基於用戶問AI的問題，小白也會主動關心用戶，主動向用戶推送。名字叫小白，是希望用戶有安全感，親切感，拋棄掉冷冰冰的AI或暴力的AI，跟用戶是可以近距離接觸的。

本站：所以可以把它理解成一個帶有AI功能的內容產品嗎？

李岩：可以，在此之外它還是一個實時在線的了解你喜好的朋友，那作為用戶你有事你可以安排它，沒事它可以觀察你，看能幫到你什麼主動做點事。

本站：Feed流的內容全部是AIGC的嗎？怎麼保證這部分內容的品質？

李岩：用大模型生產內容的話，它首先是需要知道用戶喜歡什麼樣的內容，再針對這些議題去生成，高品質地組織文章內容。這兩個層面一方面是理解能力，一方面的生成能力，現在來看的話，這兩方面的能力大模型都還有很大的提升空間。也是之所以創業的原因，因為我們認為自己有能力將這個事情達到極大的提升。

This site: The product looks a bit like the AI ​​version of Zhihu, Xiaohongshu, and Toutiao. Compared with these, what are the differences and advantages?

Li Yan: First of all, we pay more attention to the personalized needs of users. For all the products you just talked about in the previous generation, the most basic principle of their recommendation system is collaborative filtering. That is to say, if one user likes A and B, and another user likes A and C, then B and C are also similar. Then we will recommend B and C to you respectively. There is a very obvious problem with this collaborative filtering method, that is, it always recommends some vertebral categories to you.

Why? It's because if you like any topic, there is a high probability that you, like other people who like this topic, are more likely to like beautiful women and handsome men, and they all tend to like entertainment. So the system will eventually determine that you actually like entertainment and like handsome guys and beautiful women.

This method has its benefits, it can quickly drive user time to continue to grow. But its problem is that it buries users’ personal interests and niche interests, making it difficult to understand users in detail.

And we do this based on large models. First of all, we hope to take care of your personalized interests, rather than recommending handsome guys, beauties or entertainment content to you. In this case, this recommendation system is not a truly personalized recommendation system.

So, a recommendation system that is smart enough should theoretically be able to take care of all the interests of users. Whether it is your general interests or niche personalized interests. Not enough has been done so far.

This site: Why did you choose this direction when starting a business, instead of the currently common chatbot or emotional companionship product form?

Li Yan:We believe that LLM integration with recommendations has the opportunity to define a new type of interaction, a smooth experience that does not require "active" interaction. At present, pure chat-type interactions still have certain usage thresholds for users, and users need to actively initiate questions. To some extent, it also limits the penetration and use of a wider range of users. As well as all the recommended products we use today, although users use them a lot, we still see users uninstalling them repeatedly. Repeatedly pretending means that he can't live without it, but repeatedly putting it off means that he is not 100% satisfied. This is a point that makes us think that recommended products actually still have great opportunities.

On this basis, we believe that the background of our team is very suitable to do this. I personally and the team have deep experience in search, AI research and large-scale product implementation.

This site: However, content-based products currently generally encounter the dilemma of unclear commercialization paths and are not very successful. What do you think about this?

Li Yan: We are still at the stage of more fully demonstrating the value of our users. It only makes sense to talk about commercial value based on large user value. Many products have provided very successful examples of the strong monetization capabilities of large-volume content products, such as Kuaishou.

This site: Back to the product, what is the value of a better answer ability to the product?

Li Yan: I think there are two. The first one is that the better your answers are, the higher the user stickiness will be. In this case, you can know more user signals and understand the users better. Ultimately, the system can use these to create content for users that they like and really need. Continuously form a positive experience and data cycle.

This site: Thinking optimistically, what impact may the gradual maturity of generative recommendation algorithms have on the content industry? In your imagination, what might a mature "Ask Novice" look like?

Li Yan: Generative recommendation injects new vitality into the content track, making it possible to make huge changes in this sector, rather than elaborate improvements.

At present, large models and other related technologies are advancing by leaps and bounds, but there is an obvious bottleneck in human-AI communication. We have the ability to do better in both aspects. Ask Xiaobai, Xiaobai asks, we hope to greatly promote the inclusiveness of AI technology and let ordinary users who need AI more feel the power of AI.

Atas ialah kandungan terperinci Perbualan eksklusif dengan Li Yan: Dibiayai oleh Suhua, Jingwei, dan Redpoint, permulaan "cadangan generatif" pertama |. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!