Di sebalik karnival ChatGPT: kekurangan masih ada, tetapi terdapat banyak inspirasi Berikut adalah perkara yang boleh anda lakukan pada tahun 2023...

Pada bulan terakhir 2022, OpenAI bertindak balas terhadap jangkaan orang ramai selama setahun dengan robot perbualan yang popular-ChatGPT, walaupun ia bukan GPT-4 yang ditunggu-tunggu.

Semua orang yang telah menggunakan ChatGPT boleh memahami bahawa ia adalah "pahlawan heksagon" sebenar: bukan sahaja ia boleh digunakan untuk bersembang, mencari dan menterjemah, tetapi ia juga boleh digunakan untuk tulis cerita, Tulis kod, nyahpepijat, malah membangunkan permainan kecil, ambil peperiksaan kemasukan kolej Amerika... Sesetengah orang bergurau bahawa mulai sekarang, hanya akan ada dua jenis model kecerdasan buatan - ChatGPT dan lain-lain.

Sumber imej: https://twitter.com/Tisoga/status/1599347662888882177

Disebabkan keupayaannya yang menakjubkan, ChatGPT menarik 1 juta pengguna dalam masa 5 hari sahaja selepas ia dilancarkan. Ramai orang berani meramalkan bahawa jika aliran ini berterusan, ChatGPT akan menggantikan enjin carian seperti Google dan komuniti soal jawab pengaturcaraan seperti Stack Overflow tidak lama lagi.

Sumber imej: https://twitter.com/whoiskatrin/status /1600421531212865536

Walau bagaimanapun, banyak jawapan yang dijana oleh ChatGPT adalah salah dan anda tidak boleh memberitahu mereka tanpa melihat dengan teliti Ini akan menyebabkan jawapan kepada soalan menjadi keliru. Atribut "sangat berkuasa tetapi terdedah kepada kesilapan" ini telah memberi dunia luar banyak ruang untuk perbincangan Semua orang ingin tahu:

• Apakah keupayaan hebat ChatGPT? akan datang?
• Apakah kekurangan ChatGPT?
• Adakah ia akan menggantikan enjin carian pada masa hadapan?
• Apakah inspirasi yang dibawa oleh kemunculannya kepada penyelidikan AI kami?

Dalam siaran langsung teknikal "REDtech akan datang" keenam yang diadakan oleh pasukan teknikal Xiaohongshu, Li Lei, seorang pakar dalam bidang NLP dan penolong profesor di Universiti of California, Santa Barbara, dan Xiaohongshu Zhang Lei, Naib Presiden Teknologi Buku Merah, dan Zhang Debing, Ketua Algoritma Pintar Multimedia Jabatan Komuniti Xiaohongshu, berbual dan bertukar serta menjawab soalan hangat tentang ChatGPT.

Li Lei lulus dari Jabatan Sains Komputer Universiti Jiao Tong Shanghai (kelas ACM) dengan ijazah sarjana muda dan PhD dari Jabatan Sains Komputer Universiti Carnegie Mellon. Beliau telah berkhidmat sebagai penyelidik pasca doktoral di University of California, Berkeley, seorang saintis muda di Baidu US Deep Learning Laboratory, dan pengarah kanan di ByteDance Artificial Intelligence Laboratory.

Pada 2017, Li Lei memenangi hadiah kedua Anugerah Ciptaan Teknologi Kecerdasan Buatan Wu Wenjun untuk kerjanya pada robot penulisan AI Xiaomingbot. Xiaomingbot juga mempunyai keupayaan pemahaman kandungan dan penciptaan teks yang hebat, serta boleh menyiarkan acara sukan dan menulis berita kewangan dengan lancar.

Arah penyelidikan utama Li Lei ialah pembelajaran mesin, perlombongan data dan pemprosesan bahasa semula jadi. Beliau telah menerbitkan lebih daripada 100 kertas kerja di persidangan akademik antarabangsa terkemuka dalam bidang pembelajaran mesin, perlombongan data dan pemprosesan bahasa semula jadi, dan memegang lebih daripada 20 paten ciptaan teknikal. Beliau telah memenangi tempat kedua dalam Tesis Kedoktoran Terbaik ACM SIGKDD 2012, Penceramah Cemerlang CCF 2017, Anugerah Buluh Hijau CCF 2019, dan Anugerah Kertas Terbaik ACL 2021.

Zhang Lei, naib presiden teknologi di Xiaohongshu, lulus dari Universiti Jiao Tong Shanghai. Beliau berkhidmat sebagai naib presiden teknologi di Huanju Times dan ketua arkitek Baidu Fengchao, yang bertanggungjawab untuk pencarian Baidu. pengiklanan CTR pembelajaran mesin Algoritma berfungsi. Beliau pernah berkhidmat sebagai ketua teknikal China bagi projek IBM Deep Question Answering (DeepQA).

Zhang Debing, ketua algoritma pintar multimedia Jabatan Komuniti Xiaohongshu, bekas ketua saintis GreenTong, ketua penciptaan pintar pelbagai mod Kuaishou, ke arah penyelidikan teknologi dan pelaksanaan perniagaan Mereka semua mempunyai pengalaman yang kaya dan telah mengetuai pasukan untuk memenangi pelbagai kejohanan pertandingan akademik, termasuk kejohanan dunia FRVT dalam pertandingan pengecaman muka berwibawa antarabangsa, dan mempromosikan CV, multi-modal dan teknologi lain dalam senario TO B dan video pendek seperti keselamatan. , runcit dan sukan , pengiklanan dan senario sisi C yang lain telah dilaksanakan.

Perbincangan oleh ketiga-tiga tetamu itu bukan sahaja tertumpu kepada keupayaan dan masalah semasa ChatGPT, tetapi juga menantikan arah aliran dan prospek masa depan. Dalam perkara berikut, kami menyusun dan meringkaskan kandungan pertukaran.

Pengasas bersama OpenAI Greg Brockman baru-baru ini menulis tweet bahawa 2023 akan menjadikan 2022 kelihatan seperti AI Tahun yang membosankan untuk kemajuan dan penerimaan . Sumber imej: https://twitter.com/gdb/status/1609244547460255744

Dari manakah datangnya keupayaan hebat ChatGPT?

Seperti ramai orang yang mencuba ChatGPT, ketiga-tiga tetamu itu juga kagum dengan keupayaan hebat ChatGPT.

Antaranya, Zhang Debing memberikan contoh membenarkan ChatGPT bertindak sebagai Terminal Linux: memberitahu ChatGPT anggaran konfigurasi mesin, dan kemudian membiarkannya melaksanakan beberapa arahan atas dasar ini yang ChatGPT boleh ingat Ia mempunyai sejarah operasi yang panjang dan hubungan logiknya sangat konsisten (contohnya, jika anda menulis beberapa baris aksara ke dalam fail, dan kemudian biarkan ia memaparkan aksara yang telah ditulis dalam fail, ia akan menjadi dipaparkan).

Penyelidik DeepMind Jonas Degrave menggunakan ChatGPT untuk bertindak sebagai Terminal Linux. Sumber imej: https://www.engraved.blog/building-a-virtual-machine-inside/

Keputusan ini membuatkan Zhang Debing dan yang lain curiga. , Adakah ChatGPT membuka terminal di latar belakang untuk menipu pengguna? Oleh itu, mereka menjalankan beberapa ujian: Biarkan ChatGPT melaksanakan beberapa arahan yang sangat kompleks (seperti dua untuk gelung, setiap untuk gelung mempunyai 1 bilion kali Jika ChatGPT benar-benar membuka terminal, ia akan tersekat untuk seketika). Hasilnya adalah tidak dijangka: ChatGPT dengan cepat melangkau proses ini dan memaparkan hasil seterusnya selepas arahan ini. Ini membuatkan Zhang Debing dan yang lain menyedari bahawa ChatGPT secara kasarnya memahami logik keseluruhan demo, dan ia mempunyai keupayaan "berfikir" tertentu.

Jadi, dari mana datangnya kebolehan berkuasa ini? Zhang Lei mengemukakan dua hipotesis. Satu hipotesis ialah keupayaan ini sendiri dibina ke dalam model besar, tetapi kami tidak mengeluarkannya dengan betul sebelum ini; hipotesis lain ialah keupayaan terbina dalam model besar sebenarnya tidak begitu kuat, dan kami perlu Buat beberapa pelarasan padanya dengan kuasa manusia.

Kedua-dua Zhang Debing dan Li Lei bersetuju dengan hipotesis pertama. Kerana kita secara intuitif dapat melihat bahawa terdapat beberapa susunan perbezaan magnitud dalam jumlah data yang diperlukan untuk melatih dan memperhalusi model besar Dalam paradigma "pra-latihan + dorongan" yang digunakan oleh GPT-3 dan model seterusnya, , perbezaan ini. dalam jumlah data adalah lebih jelas. Selain itu, pembelajaran dalam konteks yang mereka gunakan bahkan tidak memerlukan pengemaskinian parameter model Ia hanya perlu meletakkan sebilangan kecil sampel berlabel dalam konteks teks input untuk mendorong model kepada jawapan output. Ini seolah-olah menunjukkan bahawa keupayaan hebat ChatGPT sememangnya bersifat endogen.

Perbandingan antara kaedah penalaan halus tradisional dan kaedah pembelajaran dalam konteks GPT-3.

Selain itu, Kuasa ChatGPT juga bergantung pada senjata rahsia - kaedah yang dipanggil Latihan RLHF (Reinforcement Learning with Human Feedback) kaedah .

Menurut maklumat rasmi yang dikeluarkan oleh OpenAI, kaedah latihan ini boleh dibahagikan kepada tiga peringkat [1]:

1. Model strategi penyeliaan dalam fasa permulaan sejuk: pilih sekumpulan gesaan yang diserahkan oleh pengguna ujian secara rawak, bergantung pada anotasi profesional untuk memberikan jawapan berkualiti tinggi kepada gesaan yang ditentukan, kemudian gunakan anotasi manual ini Data berasal daripada model Fine-tune GPT 3.5, supaya GPT 3.5 mempunyai keupayaan awal untuk memahami niat yang terkandung dalam arahan; , RM): Sampel sekumpulan gesaan yang diserahkan oleh pengguna secara rawak, kemudian gunakan model permulaan sejuk yang baik Penalaan Halus untuk menjana K jawapan yang berbeza bagi setiap gesaan, dan kemudian biarkan penganotasi mengisih hasil K sebagai data latihan mod pembelajaran berpasangan ke peringkat untuk melatih model ganjaran; bergantung pada keputusan pemarkahan RM Kemas kini parameter model pra-latihan.
2. Dua daripada tiga peringkat ini menggunakan anotasi manual, iaitu apa yang dipanggil "maklum balas manusia" dalam RLHF.
3. Li Lei berkata bahawa keputusan yang dihasilkan oleh kaedah ini adalah di luar jangkaan. Semasa melakukan penyelidikan terjemahan mesin sebelum ini, mereka biasanya menggunakan skor BLEU (kaedah penilaian terjemahan mesin automatik yang cepat, murah dan bebas bahasa yang mempunyai korelasi yang kuat dengan pertimbangan manusia) untuk membimbing model tersebut , kaedah ini mempunyai kesan yang ketara, tetapi apabila model semakin besar dan lebih besar, kesannya terus lemah.

Oleh itu,

Pengalaman yang mereka perolehi daripada ini ialah latihan model yang sangat besar seperti GPT-3 dengan bantuan maklum balas tidak akan bertambah baik secara teori. Walau bagaimanapun, keputusan menakjubkan ChatGPT mengubah pengalaman ini

. Li Lei percaya bahawa inilah yang mengejutkan semua orang tentang ChatGPT dan mengingatkan semua orang untuk menukar konsep penyelidikan mereka.

Apakah kekurangan ChatGPT? Namun, walaupun terkejut, ketiga-tiga tetamu itu turut menunjukkan beberapa kelemahan semasa ChatGPT.

Pertama sekali, seperti yang dinyatakan sebelum ini, beberapa jawapan yang dijananya tidak cukup tepat, dan "karut serius" akan muncul dari semasa ke semasa, dan ia tidak begitu baik untuk penaakulan logik.

Sumber imej: https://m.huxiu.com/article/735909.html

Kedua, kos penggunaan yang diperlukan untuk aplikasi praktikal model besar seperti ChatGPT agak tinggi. Dan pada masa ini tiada bukti jelas bahawa model boleh mengekalkan keupayaan yang begitu berkuasa dengan mengurangkan saiznya dengan satu atau dua pesanan. "Jika keupayaan menakjubkan seperti itu hanya boleh dikekalkan secara besar-besaran, ia masih jauh dari aplikasi, " kata Zhang Debing.

Akhir sekali, ChatGPT mungkin bukan SOTA untuk beberapa tugas tertentu (seperti terjemahan). Walaupun API ChatGPT belum dikeluarkan lagi, dan kami tidak dapat mengetahui keupayaannya pada beberapa penanda aras, pelajar Li Lei mendapati semasa ujian GPT-3 bahawa walaupun GPT-3 boleh menyelesaikan tugas terjemahan dengan cemerlang, ia tidak sebaik yang sekarang. Model dwibahasa yang dilatih secara berasingan masih lebih teruk (perbezaan skor BLEU ialah 5 hingga 10 mata). Berdasarkan ini, Li Lei membuat spekulasi bahawa ChatGPT mungkin tidak mencapai SOTA pada beberapa penanda aras, malah mungkin berada agak jauh dari SOTA. Bolehkah ChatGPT menggantikan enjin carian seperti Google? Apakah inspirasi yang ada untuk penyelidikan AI?

Di antara pelbagai perbincangan tentang ChatGPT, topik "Bolehkah ia menggantikan enjin carian" mungkin yang paling hangat. Baru-baru ini, New York Times melaporkan bahawa populariti ChatGPT telah membuatkan Google berasa seperti musuh yang kuat. Mereka bimbang jika semua orang menggunakan chatbots seperti ChatGPT, tiada siapa yang akan mengklik pada pautan Google dengan iklan (pada tahun 2021, akaun hasil Pengiklanan Google untuk. 81.4% daripada jumlah hasil). Dalam memo dan rakaman yang diperoleh The New York Times, Ketua Pegawai Eksekutif Google Sundar Pichai telah mengadakan pertemuan untuk "menentukan strategi AI Google" dan "mengganggu kerja banyak pasukan dalam syarikat untuk menangani kesan ancaman ChatGPT"[2 ].

Dalam hal ini, Li Lei percaya bahawa mungkin agak awal untuk mengatakan penggantian. Pertama sekali, selalunya terdapat jurang yang mendalam antara populariti teknologi baharu dan kejayaan komersial Pada tahun-tahun awal, Google Glass juga berkata bahawa ia akan menjadi kaedah interaksi generasi baharu, tetapi ia tidak dapat memenuhi janjinya. setakat ini. Kedua, ChatGPT memang berprestasi lebih baik daripada enjin carian pada beberapa tugasan soal jawab, tetapi keperluan yang dibawa oleh enjin carian tidak terhad kepada tugasan ini. Oleh itu, beliau percaya bahawa kita harus membina produk berdasarkan kelebihan ChatGPT itu sendiri, daripada semestinya bertujuan untuk menggantikan produk matang sedia ada Perkara yang sangat sukar.

Ramai penyelidik AI percaya bahawa ChatGPT dan enjin carian boleh bekerjasama, dan kedua-duanya tidak menggantikan hubungan yang diganti, kerana ditunjukkan dalam "youChat" yang popular baru-baru ini. Sumber imej: https://twitter.com/rasbt/status/1606661571459137539

Zhang Debing juga mempunyai pandangan yang sama dan percaya bahawa ChatGPT tidak akan menggantikan enjin carian dalam jangka pendek Ia terlalu realistik Lagipun, ia masih mempunyai banyak masalah, seperti tidak dapat mengakses sumber Internet dan menghasilkan maklumat yang mengelirukan. Selain itu, masih tidak jelas sama ada keupayaannya boleh digeneralisasikan kepada senario carian berbilang modal.

Tetapi tidak dapat dinafikan bahawa kemunculan ChatGPT sememangnya memberi banyak inspirasi kepada penyelidik AI.

Li Lei menegaskan bahawa Perkara pertama yang perlu diberi perhatian ialah keupayaan pembelajaran dalam konteks . Dalam banyak kajian terdahulu, semua orang telah mengabaikan cara memanfaatkan potensi model sedia ada dalam beberapa cara (contohnya, model terjemahan mesin hanya digunakan untuk terjemahan, tanpa cuba memberikannya beberapa petunjuk untuk melihat sama ada ia boleh menjana terjemahan yang lebih baik), tetapi GPT-3 dan ChatGPT melakukannya. Oleh itu, Li Lei berfikir, bolehkah kita menukar semua model sebelumnya kepada bentuk pembelajaran dalam konteks ini, dan memberi mereka beberapa teks, imej atau bentuk gesaan lain, supaya mereka boleh menggunakan sepenuhnya keupayaan mereka hala tuju penyelidikan yang menjanjikan.

Perkara kedua yang patut diberi perhatian ialah maklum balas manusia yang memainkan peranan penting dalam ChatGPT . Li Lei menyebut bahawa kejayaan carian Google sebenarnya sebahagian besarnya disebabkan oleh kemudahannya mendapatkan maklum balas manusia (sama ada untuk mengklik pada hasil carian). ChatGPT memperoleh banyak maklum balas manusia dengan meminta orang ramai menulis jawapan dan menilai jawapan yang dihasilkan oleh model, tetapi kaedah mendapatkan ini agak mahal (beberapa penyelidikan terkini telah menunjukkan masalah ini). Oleh itu, Li Lei percaya bahawa apa yang perlu kita pertimbangkan pada masa hadapan ialah bagaimana untuk mendapatkan sejumlah besar maklum balas manusia pada kos yang rendah dan cekap.

Sumber imej: https://twitter.com/yizhongwyz/status/1605382356054859777

Teknologi baharu Xiaohongshu untuk “menanam rumput”

Bagi Zhang Debing, yang terlibat dalam penyelidikan penciptaan pintar pelbagai mod di Xiaohongshu, ChatGPT juga memberikan banyak inspirasi.

Pertama sekali, model ini secara intuitif menunjukkan cara model NLP besar dibandingkan dengan model kecil dalam pelbagai senario seperti perbualan berbilang pusingan yang kompleks, generalisasi pertanyaan yang berbeza dan rantaian pemikiran (Rangkaian Pemikiran). telah dipertingkatkan dengan ketara, dan keupayaan yang berkaitan pada masa ini tidak tersedia pada model kecil.

Zhang Debing percaya bahawa keupayaan berkaitan model besar NLP ini juga boleh dicuba dan disahkan dalam penjanaan silang modal. Pada masa ini, model silang mod masih mempunyai jurang yang ketara berbanding dengan GPT-3 dan ChatGPT dalam skala model, dan terdapat juga banyak kerja dalam senario silang mod yang menunjukkan peningkatan keupayaan ekspresi cawangan NLP, yang akan menjejaskan kecanggihan. hasil penjanaan visual Ia banyak membantu. Jika skala model rentas modal boleh diperluaskan lagi, "kemunculan" keupayaan model mungkin sesuatu yang patut ditunggu-tunggu.

Kedua, seperti GPT-3 generasi pertama, hasil penjanaan pelbagai mod semasa selalunya boleh melihat hasil yang sangat baik dan menakjubkan apabila dipilih, tetapi kebolehkawalan penjanaan masih mempunyai banyak ruang untuk penambahbaikan. ChatGPT nampaknya telah memperbaiki masalah ini pada tahap tertentu, dan perkara yang dijana lebih sesuai dengan kehendak manusia. Oleh itu, Zhang Debing menegaskan bahawa penjanaan rentas mod boleh dicuba dengan merujuk kepada banyak idea ChatGPT, seperti penalaan halus berdasarkan data berkualiti tinggi, pembelajaran pengukuhan, dll. .

Hasil penyelidikan ini akan digunakan dalam berbilang perniagaan Xiaohongshu, termasuk perkhidmatan pelanggan pintar dalam e-dagang dan senario lain, dan pertanyaan pengguna dan nota pengguna yang lebih tepat dalam senario carian runut bunyi pintar, penjanaan copywriting, penukaran rentas modal dan penciptaan generatif bahan pengguna dalam senario penciptaan pintar. Dalam setiap senario, kedalaman dan keluasan aplikasi akan terus dipertingkatkan dan dikembangkan apabila saiz model dimampatkan dan ketepatan model terus bertambah baik.

Sebagai komuniti UGC dengan 200 juta pengguna aktif bulanan, Xiaohongshu telah mencipta sejumlah besar pengumpulan data berbilang modal dengan kekayaan dan kepelbagaian kandungan komuniti. Sebilangan besar data sebenar telah terkumpul dalam perolehan maklumat, pengesyoran maklumat, pemahaman maklumat, terutamanya dalam teknologi berkaitan penciptaan pintar, serta pembelajaran pelbagai mod asas, pembelajaran perwakilan bersatu dan hala tuju lain. Ia juga menyediakan inovasi yang unik dan praktikal dalam padang ini.

Xiaohongshu masih merupakan salah satu daripada beberapa produk Internet yang masih mengekalkan momentum pertumbuhan yang kukuh Terima kasih kepada bentuk produknya yang memberi perhatian yang sama kepada kandungan grafik, teks dan video, Xiaohongshu telah menjadi popular di kalangan banyak Bidang modaliti, audio dan video, dan carian dan promosi akan menghadapi dan mewujudkan banyak isu aplikasi yang canggih. Ini juga telah menarik sejumlah besar bakat teknikal untuk menyertai Ramai ahli pasukan teknikal Xiaohongshu mempunyai pengalaman bekerja dalam pengeluar peringkat pertama di dalam dan luar negara seperti Google, Facebook dan BAT.

Cabaran teknikal ini juga akan memberi peluang kepada juruteknik untuk mengambil bahagian sepenuhnya atau memainkan peranan penting dalam bidang baharu. Pada masa hadapan, ruang untuk pertumbuhan bakat yang boleh disediakan oleh pasukan teknikal Xiaohongshu akan menjadi lebih luas berbanding sebelum ini, dan ia juga sedang menunggu lebih ramai bakat teknikal AI yang cemerlang untuk menyertainya.

Pada masa yang sama, Xiaohongshu juga mementingkan komunikasi dengan industri. "REDtech akan datang" ialah lajur siaran langsung teknologi yang dicipta oleh pasukan teknikal Xiaohongshu untuk barisan hadapan dalam industri. Sejak awal tahun ini, pasukan teknikal Xiaohongshu telah menjalankan pertukaran dan dialog yang mendalam dengan pemimpin, pakar dan cendekiawan dalam bidang pelbagai modaliti, NLP, pembelajaran mesin, algoritma pengesyoran, dll., berusaha untuk meneroka dan menyelesaikan masalah daripada dua perspektif penyelidikan akademik dan pengalaman praktikal Xiaohongshu Bincangkan isu teknikal yang berharga.

Atas ialah kandungan terperinci Di sebalik karnival ChatGPT: kekurangan masih ada, tetapi terdapat banyak inspirasi Berikut adalah perkara yang boleh anda lakukan pada tahun 2023.... Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!