Profesor Wang Jun menganjurkan 7 sarjana AI untuk membincangkan teori dan aplikasi kecerdasan buatan umum selepas ChatGPT

Kepopularan ChatGPT sekali lagi membangkitkan perhatian orang ramai kepada kecerdasan buatan Jadi bagaimanakah kecerdasan buatan akan berkembang selepas ChatGPT? Industri dan OpenAI, syarikat induk ChatGPT, percaya bahawa AGI akan menjadi hala tuju pembangunan kecerdasan buatan pada masa hadapan.

Apakah aspek yang boleh dimulakan dari penyelidikan teori dan amalan aplikasi AGI? [ChatGPT dan Kursus Musim Bunga Model Besar] Perbincangan topik terakhir menjawab soalan ini Para sarjana dan pakar dari UCL, Universiti Renmin China, Huawei, Tsinghua, Akademi Sains China, Universiti Shanghai Jiao Tong, Universiti Nanjing dan Universiti Liverpool berkumpul bersama. untuk membincangkan "Kecerdasan Buatan Umum selepas ChatGPT" Teori dan Aplikasi Kepintaran".

Berikut ialah ringkasan sorotan perbincangan meja bulat.

Topik 1: Kami sentiasa mendambakan kecerdasan buatan am, tanpa perlu mereka bentuk algoritma untuk melatih mesin untuk tugasan. Adakah ChatGPT membawa kepada kita kemungkinan sedemikian. Adakah mungkin untuk merealisasikan impian sedemikian dalam beberapa tahun kebelakangan ini?

Liu Qun: Pada mulanya, saya agak meluat dengan istilah "general artificial intelligence" kerana saya faham ia adalah perbandingan .Istilah sci-fi nampaknya tidak boleh dipercayai. Jadi saya segan untuk menjawab soalan tentang konsep ini sebelum ini. Tetapi baru-baru ini, nampaknya istilah ini agak munasabah. Ia bukan fiksyen sains. Model kecerdasan buatan hari ini menjadi lebih umum Pada masa lalu, mereka hanya boleh menangani beberapa masalah kecil atau masalah tunggal kecerdasan agak sesuai.

Saya tidak berani menilai sama ada kecerdasan buatan am akan direalisasikan, tetapi pada tahap tertentu, pemprosesan bahasa semula jadi umum telah direalisasikan. Dalam bidang bahasa semula jadi, adalah sangat rumit untuk menyelesaikan sebarang masalah kecil, seperti terjemahan mesin, analisis sentimen, dan segmentasi perkataan Cina Ia sentiasa melibatkan segala-galanya, kerana perkataan adalah teks dan simbol. Untuk melakukan sebarang arahan kecil dengan baik, anda mesti memahami keseluruhan sistem bahasa. Oleh itu, pelaksanaan fungsi bahasa ChatGPT sangat berkuasa, terutamanya keupayaan wacananya. Kerana wacana adalah masalah yang sangat mendalam dan sukar dalam bahasa semula jadi. ChatGPT telah mempelajari dengan baik struktur wacana dalam proses komunikasi manusia, termasuk rutin dan perbendaharaan kata menulis artikel Ini adalah cara logik dan organisasi artikel yang sangat abstrak. Beberapa contoh terkini ialah ia boleh mensimulasikan pertuturan manusia dan memainkan peranan tertentu Ini adalah pemprosesan bahasa semula jadi dengan struktur bersarang, seperti ChatGPT, yang menukar topik yang sangat baik kacau bilau.

Wang Jun: Jika anda melihatnya dari perspektif pembelajaran mesin, persamaan objektifnya adalah sangat mudah adalah untuk meramalkan perkataan seterusnya berdasarkan kata-kata sebelumnya; Kedua, adakah jawapan bagi petikan ini serupa dengan jawapan seorang manusia? Dua matlamat yang sangat mudah ini, kenapa dia boleh belajar sesuatu yang dirasakan memerlukan banyak logik dan reka bentuk terlebih dahulu?

Liu Qun: Mencapai matlamat memerlukan penglibatan yang baik dari pengetahuan kompleks yang digunakan Lebih baik dan lebih mendalam pengetahuan itu dikuasai, lebih baik ramalan itu. Jadi walaupun matlamatnya mudah, cara untuk mencapainya boleh menjadi sangat kompleks. Jadi untuk melakukannya dengan baik, anda memerlukan model yang sangat berkuasa dan banyak data.

Huang Minlie: Dulu, masyarakat China umumnya tidak berani bercakap tentang konsep AGI, malah takrifan AGI pun tidak jelas. Jadi kita kadang-kadang bergurau bahawa saintis Cina tidak berani bermimpi, kerana jika mereka bercakap tentang AGI, mereka akan disembur hingga mati. Para saintis asing sememangnya sangat sentimental Contohnya, seorang profesor di MIT menggunakan sistem dialog AI untuk membuat robot sembang dan robot psikoterapi pada tahun 1966. Saya fikir ini adalah perkara yang sangat sukar berbaloi untuk belajar daripada kami.

Berbalik kepada persoalan, sejauh manakah kita dari AGI sekarang? Saya fikir ia masih jauh dari segi umum Tahap kecerdasan yang terkandung oleh ChatGPT pada masa ini masih dalam proses membangunkan AGI, tetapi perkara yang tidak berani kita fikirkan sudah mula terbentuk. Jadi saya fikir mungkin lebih baik untuk meletakkannya dengan cara lain: jangan bincangkan sama ada ia mempunyai keupayaan untuk mencapai AGI dalam erti kata yang luas, kerana dalam erti kata yang luas, kita juga mungkin mempunyai pelbagai pemikiran bebas dan kebolehan generalisasi tetapi apa yang kita lihat hari ini ialah tahap kecerdasan keseluruhannya sememangnya melebihi apa yang boleh dicapai oleh AI sebelumnya. Laluan teknikalnya juga sangat berbeza Teknologi DeepQA yang dibangunkan oleh IBM Watson adalah tradisional dan klasik. Rutin pemahaman analisis semantik ini adalah untuk menganalisis tatabahasa dan struktur sintaksis ayat dengan sangat jelas.

Tetapi hari ini, ChatGPT bukan sahaja mengenai data, tetapi juga mengenai kuasa data dan model, serta keupayaan model itu sendiri untuk muncul. Jadi saya fikir ia adalah jalan yang betul untuk AGI pada masa hadapan? Orang yang berbeza mempunyai pendapat yang berbeza Saya fikir ia adalah arah yang patut dicuba, tetapi ia bukan satu-satunya arah. Ini adalah salah satu perkara utama saya: bagaimana ia dipelajari bukan sepenuhnya estetika data ditambah model Ia masih mencerminkan reka bentuk banyak algoritma model, terutamanya penjajaran dengan data manusia. Banyak butiran OpenAI belum didedahkan, tetapi saya rasa terdapat banyak pemprosesan data yang canggih di dalamnya. Apa yang anda lihat sekarang nampaknya hanya bermula dengan data, tetapi sebenarnya ia mungkin tidak semudah itu.

Fang Meng: ChatGPT sememangnya sangat berkuasa Baru-baru ini, saya memintanya untuk menulis kod dan terus menjalankan kod yang ditulis olehnya, dan mendapati pepijat di dalamnya . Saya terus menyalin maklumat pepijat dan membiarkan ChatGPT mengendalikannya, dan ia mengesyorkan fungsi dan kod kepada saya. Tetapi fungsi ini telah ditamatkan dalam kemas kini versi Saya dengan cepat menemui kemas kininya berdasarkan fungsi yang disyorkan dan menyelesaikan masalah saya. Saya fikir, sebenarnya rata-rata orang tidak belajar kod secara khusus, tetapi kita perlu berkomunikasi. Dan ChatGPT mengendalikan banyak tugas NLP dengan baik, hampir mempertimbangkan kebanyakan tugas NLP, dan nampaknya AI universal. Walau bagaimanapun, model yang diterbitkan oleh OpenAI dipelajari berdasarkan data sebelum 2021 dan tidak dapat mengendalikan pengetahuan baharu. Dari perspektif NLP semata-mata, ia nampaknya model AGI yang boleh menangani kebanyakan masalah penyelidikan NLP. Pada masa hadapan, penyelidikan saintifik kami tentang NLP pasti akan mencipta banyak persoalan baharu dan meneroka perkara baharu. Bagaimana jika suatu hari nanti ChatGPT boleh melakukan sesuatu yang serupa, mencipta masalah baharu dengan sendirinya dan bukannya menangani masalah sedia ada. Saya percaya ini mungkin lebih dekat dengan kecerdasan buatan am kerana ia boleh menjana perkara baharu dengan sendirinya. Saya fikir kemahiran yang diperolehnya sekarang masih berdasarkan data besar-besaran pada masa lalu Latihan modelnya mempunyai kuasa pengkomputeran yang besar dan kejuruteraan yang canggih. Tetapi ia mungkin hanya satu cara, mungkin ada cara lain. Jadi kita juga boleh meneroka cara lain.

Selain itu, saya juga memikirkan soalan lain, jika kita biarkan ia mempelajari data 2022, berapa lama kita perlu melatihnya? Bolehkah anda belajar seperti manusia? Atau adakah lebih baik untuk belajar lebih cepat? Ini juga mungkin salah satu perkara utama kecerdasan buatan umum. Model yang sedang digunakan oleh OpenAI pada masa ini belum lagi berada pada tahap ini, tetapi ia sememangnya berkuasa dan ini merupakan satu langkah ke hadapan yang penting.

Topik 2: Apakah kekurangan ChatGPT? Dari perspektif pembelajaran mesin, apakah aspek yang boleh dipertingkatkan untuk mencapai tahap yang kita mahukan? Atau apakah sempadan keupayaannya?

Wen Jirong: Masih terdapat beberapa kelemahan yang jelas. Pertama, pengetahuan ChatGPT tidak cukup masa nyata Model bahasa mempelajari kedua-dua pengetahuan dan keupayaan daripada data besar-besaran yang bersatu dan boleh dinyatakan seperti otak manusia. Walau bagaimanapun, pengetahuan ini telah ditetapkan semasa latihan, jadi akan ada situasi di mana data baharu selepas September 2021 dimasukkan untuk pembelajaran. Menambah perkara baharu memerlukan latihan semula, yang sangat mahal dan pada dasarnya tidak boleh dilaksanakan sekarang. Oleh itu, ChatGPT dan Bing telah disepadukan untuk menggabungkan hasil carian dan penjanaan kandungan berdasarkan data rangkaian terkini. Selepas gabungan, mungkin untuk menyelesaikan masalah masa nyata dan ketepatan pengetahuan ChatGPT. Tetapi saya sendiri berpendapat perkara ini masih di peringkat awal dan wajar untuk dikaji secara mendalam. Data dalam model besar adalah statik, dan keseluruhan Internet atau pengetahuan luaran adalah dinamik Apabila menggunakan model untuk menjana hasil, bagaimana untuk menggabungkan pengetahuan dalaman model dengan pengetahuan luaran untuk menjana hasil. Belum ada jawapan yang baik untuk soalan ini, tetapi jika ia dilakukan dengan baik, ia akan menjadi sangat penting. Oleh kerana kita tidak boleh sentiasa melatih semula model, kita perlu mempunyai model asas yang stabil yang boleh digabungkan untuk menyelesaikan kerja penjanaan atau inferens apabila lebih banyak data dinamik atau pengetahuan domain profesional masuk. Kedua, saya telah mengusahakan model multi-modal yang besar selama lebih daripada dua tahun Seperti yang anda lihat, GPT-4 sudah mempunyai beberapa model multi-modal, yang mengagumkan. Melangkah ke hadapan, saya fikir kita perlu mengkaji lebih lanjut bagaimana pelbagai modaliti boleh berfungsi dengan baik bersama-sama untuk penjanaan dan penaakulan. Ini adalah sesuatu yang masih memerlukan kerja. Ketiga, saya fikir masalah terbesar dengan model besar pada masa ini adalah bahawa mereka terlalu mahal Dikatakan bahawa hanya berpuluh-puluh bilion dan beratus-ratus bilion boleh mempunyai keupayaan untuk muncul komuniti penyelidikan. Jika kita tidak mempunyai model skala ChatGPT, adakah kita tidak akan dapat melakukan penyelidikan? Jika kami tidak dapat mencapai keupayaan atau prestasi yang agak tinggi pada model sederhana pada masa hadapan, penyelidikan saintifik kami yang seterusnya akan menjadi sangat sukar. Bidang NLP telah banyak terjejas baru-baru ini, sebenarnya, pencarian maklumat juga telah banyak terjejas. Memandangkan Bing adalah carian perbualan, cadangan perbualan akan datang tidak lama lagi. Sebelum anda mengetahuinya, perolehan maklumat mungkin menjadi penjanaan maklumat, dan medan itu mungkin perlu dinamakan semula. Perubahan laut sedang berlaku sekarang. Diharapkan terdapat beberapa terobosan dalam platform penyelidikan pada masa hadapan Bagaimana untuk mempersembahkan keupayaan model ChatGPT atau GPT-4 hari ini pada model berskala terhad adalah sangat penting.

Wang Jun: Saya ingin memasukkan salah satu penyelesaian sumber terbuka dalam akademik mungkin satu-satunya cara. Jika model besar adalah sumber terbuka, ia mungkin sekurang-kurangnya melatih model itu, dan kemudian kita boleh melaraskannya, atau kita boleh melakukan beberapa penyelidikan saintifik ke arah ini. Industri ini menghasilkan seni bina, dan sumber terbuka mendorong penggunaannya yang lebih besar. Berikut adalah beberapa soalan untuk Cikgu Li Walaupun ChatGPT masih mempunyai beberapa kelemahan, apakah yang difikirkan oleh Cikgu Li tentang lonjakan daripada mengkaji otak manusia kepada kecerdasan buatan Bilakah kita akan mencapai tahap yang dipanggil AI mengatasi manusia?

Li Chengyu: Ketika saya mendengar ceramah tadi, apa yang paling saya fikirkan ialah "evolusi". Oleh kerana kecerdasan buatan bermula pada tahun 1960-an, ia telah berkembang dengan sangat pesat dan merupakan proses evolusi eksponen. Kami hanya menyebut AGI, sebenarnya, ia sudah wujud di alam semesta. Otak kita sendiri adalah rangkaian dengan keupayaan umum, jadi secara teori, sama ada rangkaian saraf biologi atau buatan, ia boleh melakukan banyak perkara. Kerana pertumbuhan eksponen kecerdasan buatan yang meletup, perkembangan revolusioner seperti GPT4 telah muncul, yang serupa dengan evolusi otak biologi manusia. Otak manusia mempunyai bilangan otak terbesar berbanding badan di antara semua makhluk hidup. Sekarang otak tikus mempunyai kira-kira 70 juta neuron, otak monyet mempunyai kira-kira 6 bilion, dan otak manusia mempunyai kira-kira 80 bilion hingga 100 bilion Ini juga merupakan pertumbuhan eksponen. Jadi dari perspektif ini, revolusi dalam evolusi GPT sangat mengujakan. Saya secara peribadi melihat ini sebagai peluang yang sangat penting, membolehkan kita yang melakukan neurosains dan sains otak memikirkan hubungan antara otak biologi dan otak buatan.

Selain itu, dari sudut mekanisme otak, saya rasa ada banyak perkara menarik untuk dibincangkan. Saya baru sahaja menyebut masalah bahawa model besar tidak akan dapat melaksanakan pembelajaran berterusan selepas penghujung tahun 2021. Tetapi otak manusia kita jelas mampu untuk belajar berterusan, dan kita tidak akan berhenti belajar selepas masa tertentu. Tetapi apa yang menarik ialah terdapat beberapa tisu otak dan kawasan dalam otak kita yang mengawal keupayaan ini. Satu contoh ialah kes hippocampus H.M. Selepas doktor mengeluarkan hippocampus pesakit epilepsi, ingatan jangka panjangnya berhenti pada saat pembedahan, dan dia tidak dapat mempelajari fakta baru selepas itu. Contoh ini agak serupa dengan masalah yang kita bincangkan sekarang Keupayaan pembelajaran berterusan model besar mungkin tidak dipinjam daripada otak biologi, jadi saya fikir ini adalah peluang. Neurosains harus berkomunikasi lebih banyak dengan anda untuk melihat cara mengekstrak mekanisme keupayaan pembelajaran berterusan otak biologi untuk membantu mereka bentuk rangkaian neural kecerdasan buatan baharu. Saya fikir ini adalah proses evolusi bersama, dan proses ini juga akan membantu kita memahami bagaimana otak biologi mencapai pembelajaran berterusan. Kami tidak melihat ini sebagai penting sebelum ini, tetapi saya kini melihatnya sebagai sesuatu yang penting yang membolehkan kami terus menghadapi cabaran baharu.

Kami sedang melakukan penyelidikan peta Ini adalah penyelidikan yang sangat asas. Kami perlu memahami jenis sel yang ada dalam otak dan bagaimana ia disambungkan otak, kita perlu faham Saya tidak pasti tentang soalan ini, tetapi hubungan antara setiap neuron adalah sangat jelas dalam rangkaian AI Jadi dalam proses penyelidikan semasa, kami bekerjasama dengan institusi penyelidikan seperti BGI dan Universiti Huazhong Sains dan Teknologi untuk mendapati bahawa semasa evolusi spesies yang berbeza, hippocampus enam spesies telah berubah dengan banyak, dengan banyak jenis neuron baharu muncul dan banyak kawasan otak baharu. Banyak subregion baru telah muncul di hippocampus Kami telah mengkaji penyu, burung, tikus, monyet, dan manusia Dalam proses ini, kebolehan tingkah laku manusia terus meningkat. Jadi saya fikir kerumitan dan keupayaan tingkah laku ini sepadan dengan kemunculan sel-sel baru dalam hippocampus. Kami sedang belajar tentang sel-sel baru ini.

Saya ingin bercakap tentang perkara yang boleh kita lakukan pada masa hadapan. Saya rasa terdapat banyak perkara yang perlu dilakukan di sini. Kami juga mengubah hala tuju penyelidikan kami. Sekarang saya fikir kita boleh mengekstrak beberapa prinsip daripada penyelidikan mengenai tikus dan monyet dan menerapkannya pada otak manusia, yang boleh merealisasikan fungsi yang lebih kompleks dengan penggunaan kuasa yang rendah. Walaupun Ke Jie tidak dapat mengalahkan AlphaGo dalam catur, Ke Jie hanya perlu makan beberapa roti dan roti kukus setiap hari belum dapat menyelesaikannya. Masalah ini memerlukan pembelajaran daripada organisma hidup pada masa hadapan untuk menghasilkan kecerdasan fizikal dengan penggunaan tenaga yang lebih rendah.

Pada masa hadapan, kita perlu menyepadukan persepsi, kognisi dan pergerakan Sekarang bentuk ini tidak begitu mampu mengawal robot untuk berjalan-jalan, tetapi saya fikir ia mungkin sekurang-kurangnya dihasilkan pada masa hadapan. Kami memahami Chat GPT atau GPT4 untuk menyelesaikan masalah kognitif, dan pada masa hadapan ia akan disambungkan kepada kawalan gerakan Saya tahu bahawa banyak tangan robot kawalan gerakan dan lengan robot berdasarkan transformer sentiasa berkembang. Jika persepsi, kognisi, dan pergerakan diintegrasikan menjadi satu, setiap modul individu boleh disepadukan Seperti semua orang yang menyebut integrasi merentas medan, saya fikir ini adalah perkara yang sangat penting pada masa hadapan. Dalam proses pembangunan kecerdasan buatan, saya berharap sains otak dapat bekerjasama dengan semua orang untuk melakukan perkara yang lebih menarik.

Wang Jun: Saya ingin bertanya kepada Encik Li Otak manusia sangat kompleks dan telah berkembang selama bertahun-tahun, tetapi otak tidak mempunyai ganjaran fungsi dan tiada BIAS induktif. Tetapi apabila kita melakukan pembelajaran mesin, kita mesti memberikan pengetahuan atau andaian terdahulu tertentu. Ia tidak boleh membuat sebarang ramalan tanpa pengetahuan atau andaian terdahulu. Dalam pembelajaran mesin, walaupun kita bercakap tentang kecerdasan buatan umum, kita masih belum dapat menghapuskan kedua-dua premis ini tetapi melihat otak manusia, adakah ia tidak mempunyai mekanisme ganjaran dan tiada pengetahuan sebelumnya ? Tetapi teknologi semasa tidak dapat mencapai ini. Apa yang Cikgu Li fikir? Apakah pendapat pakar AI? Adakah mekanisme ganjaran dan pengetahuan terdahulu diperlukan?

Li Chengyu: Saya akan mulakan dengan memberi sedikit penerangan tentang sesuatu. Pertama, sama ada terdapat mekanisme ganjaran dalam proses evolusi, saya fikir terdapat lebih daripada 99% daripada semua makhluk hidup telah pupus ini adalah hukuman, tetapi kewujudan makhluk hidup adalah ganjaran sudut pandangan, spesies dan individu Semua mempunyai mekanisme ganjaran. Setiap orang mempunyai ganjaran dan hukuman, dan proses ini boleh mengubah struktur dan fungsi otak kita. Oleh itu, saya fikir ganjaran mesti wujud dalam evolusi biologi. Yang kedua adalah BIAS yang anda sebutkan tadi. Sebenarnya, organisma hidup juga mempunyai BIAS Apabila kita dilahirkan, rangkaian saraf telah mengalami evolusi jangka panjang, dan terdapat BIAS tertentu untuk fizik luaran dan tingkah laku sosial manusia di dalamnya, termasuk minat pada wajah tertentu. Pembelajaran mesin adalah berbeza. Ia memerlukan orang untuk menukar perspektif mereka dari luar dan membiarkan kecerdasan buatan bermain catur dengan ejen yang berbeza Mereka akan menjana generasi mereka sendiri yang berbeza, dan generasi sebelumnya boleh digunakan sebagai BIASnya. Saya fikir ini seolah-olah tidak dapat dielakkan. Apabila individu sentiasa berada dalam keadaan tugas tertentu, saya fikir ia akan bergerak ke hadapan pada trajektori tertentu di kalangan spesies bersaing, dan trajektori ini dirangka oleh entiti fizikal. Rangka kerja ini mesti bergantung pada sempadan sedia ada hanya dengan BIAS ia boleh menang lebih cepat.

Wang Jun: Saya ingin bertanya bila AI boleh mempunyai keupayaan pendorong kendiri, apabila ia boleh mempunyai konsep kendiri, berkembang dengan sendirinya, dan malah menjadi sedar. Kesedaran ini unik kepada manusia Fenomena ini sedang dilakukan oleh ChatGPT Adakah ia sedar dan bolehkah ia mengetahui pemikiran orang lain tetapi sebenarnya ia hanya tinggal dalam senarai teks. Walaupun pada bentuk teks, ia tidak semestinya menangkap perkara ini 100%. Saya tidak tahu apa yang semua orang fikirkan tentang ini Jika AGI tidak mempunyai diri dan kesedaran, adakah ia mempunyai fungsi ganjaran Adakah ini diberikan kepadanya oleh luar atau bolehkah ia menjananya sendiri?

Liu Qun: Biar saya terangkan serba sedikit tentang pemahaman saya. Tadi, Cikgu Li berkata bahawa kelangsungan hidup adalah ganjaran utama Saya sangat bersetuju dengan ini. Sebenarnya, ganjaran utama manusia adalah kelangsungan hidup, dan semua tujuannya adalah untuk terus hidup. Tetapi dalam hidup kita, saya akan merasakan bahawa kita tidak melakukan segala-galanya untuk kelangsungan hidup, tetapi sebenarnya ini semua adalah sejenis tekanan kelangsungan hidup yang akhirnya berubah menjadi. Satu lagi bentuk ungkapan ialah ganjaran. Ia tidak kelihatan seperti hidup, tetapi sebenarnya ia bermuara kepada kelangsungan hidup. Jadi saya percaya bahawa sukar untuk AI semasa menjana evolusi diri kerana ia tidak mempunyai tekanan untuk terus hidup. Katakan anda meletakkannya di padang gurun dan memberikannya had kuasa pengkomputeran Melainkan anda mencipta persekitaran di mana ia boleh bersaing dengan sendiri, mungkin suatu hari nanti anda akan dapat menanggalkan kord kuasa orang lain dan melindungi anda sendiri.

Li Chengyu: Masalah kesedaran jelas merupakan masalah yang sangat penting tetapi tidak dapat diselesaikan, tetapi ia tidak boleh dicari sekarang. Terdapat banyak kaedah penyelidikan yang menarik di lapangan kesedaran. Memandangkan rangsangan visual yang lemah, penguji melaporkan bahawa kadang-kadang dia dapat melihatnya dan kadang-kadang dia tidak dapat melihatnya perbezaan dalam aktiviti dalam otak. Mungkin jenis permainan ini boleh digunakan untuk menguji chatGPT atau rangkaian kecerdasan buatan lain untuk menguji sama ada mereka mempunyai prestasi kesedaran seperti manusia. Sebenarnya terdapat banyak perbahasan dalam bidang ini, dan sudah pasti tiada jawapan sekarang. Saya fikir kita boleh melakukan ini melalui kerjasama, kerana kita boleh melakukan penyelidikan dalam bidang ini secara biologi. Beri monyet 50% rangsangan yang boleh dilihat dan 50% tidak kelihatan, lihat aktiviti otaknya, dan bandingkan dengan rangkaian AI.

Topik 3: Kepintaran membuat keputusan: Robot semasa kita boleh melihat dan membaca, tetapi ia tidak boleh berjalan.

Yu Yang: Wabak ChatGPT atau GPT baru-baru ini, walaupun saya dalam bidang membuat keputusan pembelajaran pengukuhan, saya juga berasa sangat terharu. Dalam bidang ini, beberapa kajian model berskala besar juga sedang dijalankan. Tetapi mujurlah, tidak ada model yang boleh menggantikan atau menghancurkan pembelajaran pengukuhan. Ini juga menunjukkan hakikat bahawa masih terdapat jurang yang besar antara model GPT sedia ada dan kecerdasan biologi manusia. Khususnya, ChatGPT tidak mempunyai bahagian model dunia. Tiada memori berfungsi dalam model GPT semasa, hanya konteks dan input segera. Dalam kajian pembelajaran pengukuhan, kami mendapati bahawa konteks ini mempunyai keupayaan ingatan tertentu, iaitu, ia boleh mengenali dan mengingati tindakan lampau, keputusannya, dan reaksi dunia. Tetapi keupayaan ingatan ini mungkin tidak kuat, kerana ia hanya urutan linear dan tidak ada tempat khas untuk menyimpannya. Ini berbeza dengan apa yang Cikgu Li nyatakan sebelum ini, bahawa hippocampus dalam organisma hidup adalah sangat penting untuk ingatan jangka pendek kita. Baru-baru ini kami juga telah membaca kertas kerja tentang biologi dan mendapati terdapat banyak kandungan yang menarik. Terdapat hubungan yang sangat ketat antara hippocampus dan model dunia, tetapi ini tidak berlaku dengan model GPT. Model GPT tidak bermimpi. Kami melihat bahawa apabila tikus bermimpi, hippocampusnya memainkan semula apa yang ditemuinya pada siang hari, yang sebenarnya merupakan manifestasi yang sangat tipikal bagi model dunia. Badan tikus itu tidak bergerak, tetapi otaknya bergerak. Semua data yang dilihatnya dimainkan semula dalam otaknya, dan mengikut hasil visualisasi, ia tidak disusun dalam susunan kronologi, tetapi dalam susunan terbalik, dari penghujung ke titik permulaan Ini sama dengan ulangan data dalam pembelajaran pengukuhan. ingatan sangat serupa. Oleh itu, dari perspektif ini, model GPT semasa tidak cukup berfungsi secara lengkap. Ringkasnya, ia mungkin masih hanya model anggaran kebarangkalian bersama hari ini. Kita lihat dari hippocampus tikus bahawa apabila tikus menghadapi persimpangan jalan, hippocampusnya akan bergerak ke kiri dan ke kanan pada masa yang sama, yang merupakan salah satu kawasan otak yang diperlukan untuk penaakulan. Model GPT semasa masih belum berada pada tahap ini, jadi saya percaya bahawa untuk membuat keputusan yang lebih baik, model GPT perlu dioptimumkan lagi. Jika ia berharap untuk membuat keputusan yang lebih baik daripada manusia, ia mungkin memerlukan penambahbaikan lanjut dalam struktur asas.

Walaupun model berskala besar hari ini mempunyai pelbagai pengetahuan, model berskala besar masih belum dikuasai sepenuhnya dalam banyak bidang profesional. Dalam bidang ini, terdapat banyak data yang tidak umum atau tidak wujud dalam bentuk bahasa Ia mungkin data komersial atau data perubatan, iaitu data peribadi. Jadi kita masih akan melihat banyak pemprosesan data kecil di kawasan ini, data kecil tidak akan hilang. Saya fikir ini adalah perkara yang sangat penting. Hubungan mereka, mungkin model besar boleh membantu kami menangani masalah keseluruhan, tetapi untuk analisis data dalam bidang kecil, terutamanya yang melibatkan pembuatan keputusan, kami mendapati bahawa data kecil dan data tertutup wujud dalam banyak bidang, jadi kami tidak boleh menggunakan model besar untuk menyelesaikannya. masalah-masalah ini. Kami percaya bahawa model kecil juga patut diberi perhatian, terutamanya apabila model besar menjadi lebih baik dan lebih baik, dan aplikasi yang menggunakan model kecil dalam domain proprietari mungkin menerima lebih perhatian daripada penyelidik.

Zhang Weinan: Saya ingin mengatakan dari perspektif laluan maklum balas, maklum balas ialah apa yang Richard Sutton katakan di bahagian sempadan buku teks "Pembelajaran Pengukuhan ". Sebenarnya, apabila kita dilahirkan, Sentiasa berinteraksi dengan persekitaran, mengawal dan mendapatkan maklum balas daripada maklumat yang dirasakan, dan sentiasa belajar dalam gelung tertutup ini. Untuk maklum balas, sembang dalam ChatGPT sebenarnya akan mendapat beberapa jawapan, tetapi ia juga memerlukan fungsi ganjaran. Kami sebenarnya tidak mempunyai perkara sedemikian sekarang, ia lebih kepada pemindahan negeri. Tetapi sebenarnya, bahagian ganjaran yang berkaitan tidak diberikan secara langsung dalam ChatGPT, jadi jika anda hanya melatih ChatGPT, sebenarnya, kecuali untuk penjajaran orang terakhir dalam gelung, bahagian lain adalah pembelajaran yang diselia, iaitu, dalam kebanyakan kes. Ia belum belajar dalam bentuk maklum balas lagi. Boleh dibayangkan bahawa jika ChatGPT kini digunakan untuk memanggil antara muka membuat keputusan, seperti ChatGPT untuk Robotik, ia boleh didapati bahawa ia sememangnya disambungkan kepada antara muka ini pada tahap tertentu dan boleh membuat keputusan yang betul, tetapi ini hanya lanjutan kebolehan kognitif , dan ganjaran boleh dimaksimumkan tanpa melaraskan antara muka semasa proses latihan. Jika rantaian maklum balas ditutup, ia sebenarnya akan membawa kepada pembangunan kecerdasan membuat keputusan ke arah prestasi yang lebih baik. Titik paling kritikal tidak semestinya fungsi ganjaran yang direka dengan teliti, tetapi keupayaannya untuk menentukan sama ada tugas membuat keputusan telah berjaya diselesaikan. Jika isyarat kejayaan atau kegagalan tugas membuat keputusan boleh disalurkan kembali kepada ChatGPT, ini sebenarnya akan membentuk gelung tertutup untuk memberikan maklum balas berterusan dan menyelesaikan tugas membuat keputusan sepenuhnya secara spontan.

Sesi Soal Jawab

S1: Dari perspektif merealisasikan keupayaan pelbagai modal, Baidu Wenxin nampaknya melalui model teks Baidu, model dialog dan grafik , dsb. Keupayaan melakukan sejenis jahitan. Bolehkah anda terangkan cara menyepadukan keupayaan bertaburan ke dalam model berbilang modal yang besar? Bagaimanakah ini berbeza daripada pelaksanaan keupayaan multimodal GPT4?

Zhang Weinan: Pertama sekali, saya tidak tahu reka bentuk di sebalik Wenxin, tetapi saya rasa ia sangat teks- berasaskan , memanggil API untuk mencapai keupayaan interaksi berbilang modal. Jika model Baidu Wenxin diminta untuk menjana sepotong ucapan, ia mungkin menjana teks dahulu dan kemudian memanggil API untuk memainkannya dalam dialek tertentu. Ini sebenarnya adalah keupayaan lanjutan, tetapi terasnya ialah perbezaan antara model bahasa besar dan model besar berbilang modal sebenar. Tetapi ini hanya sangkaan saya, dan ini tidak bermakna kesedaran sebenar Wen Xin adalah seperti ini.

S2: Apakah hubungan antara model besar yang lebih matang dan model kecil seperti pembelajaran mesin tradisional dan pembelajaran mendalam pada masa hadapan?

Yu Yang: Walaupun model besar hari ini mempunyai pelbagai pengetahuan, dalam banyak bidang profesional, model besar belum menguasai sepenuhnya . Masih terdapat banyak medan yang datanya tidak awam atau data bukan berasaskan bahasa Ia mungkin data komersial atau data perubatan, yang merupakan data peribadi Oleh itu, dalam medan ini, kita mungkin masih melihat banyak pemprosesan data kecil . Data tidak hilang. Saya fikir ini adalah perkara yang sangat penting, apakah rupa hubungannya? Mungkin model besar boleh membantu kami melakukan perkara keseluruhan, tetapi untuk analisis data dalam bidang kecil, terutamanya membuat keputusan, kami mendapati bahawa banyak medan penuh dengan data kecil dan data tertutup, jadi tidak ada cara untuk menggunakan model besar untuk menyelesaikannya. Jadi kami fikir model kecil juga patut diberi perhatian, terutamanya apabila model besar menjadi baik, adakah lebih ramai penyelidik akan memberi perhatian kepada aplikasi model kecil dalam bidang proprietari.

S3: Saya ingin bertanya kepada Encik Liu, memandangkan ChatGPT adalah model generatif, berita rekaan atau petikan kertas sering muncul dalam amalan fenomena ini, dan apa yang anda fikir boleh diperbaiki?

Liu Qun: Malah, model itu sendiri tidak dapat membezakan antara fakta dan bukan fakta. Mengikut definisi, boleh dianggap bahawa sesuatu atau pertimbangan yang muncul dalam data pra-latihan adalah fakta Jika ia tidak muncul, ia bukan fakta. Tetapi apabila model dijana, ia tidak tahu bahawa ia telah menjadi parameter model. Ia adalah perkara biasa bahawa sesetengah keluaran parameter model konsisten dengan data pra-latihan dan ada yang tidak. Jadi model itu sendiri, ia tidak dapat dibezakan. Tetapi perkara ini tidak sepenuhnya tidak dapat diperbaiki. Dapat dilihat bahawa GPT4 telah melakukan penambahbaikan secara praktikal. Ini adalah melalui pembelajaran, meminimumkan bukan fakta, dan mencari fakta. Tetapi saya merasakan bahawa hanya menggunakan kaedah rangkaian saraf sedia ada model besar tidak dapat menyelesaikan masalah sepenuhnya. Jadi kita masih perlu meneroka beberapa kaedah lain dan menggunakan pertimbangan luaran untuk menyelesaikan masalah. Soalan ini adalah soalan yang sangat bagus.

Wang Jun: Persoalan ini sebenarnya boleh dilihat sebaliknya Kenapa? Fiksyen boleh menjadi perkara yang baik juga. Dalam sesetengah kes, ia diminta untuk menulis puisi atau gubahan, dengan harapan ia akan mempunyai unsur fiksyen sains, sehingga menyukarkan masalah. Sama ada anda ingin mencari fakta atau membina idea sememangnya agak samar-samar, dan anda memerlukan matlamat untuk mencapainya.

S4: Sebagai wakil industri AI yang cemerlang, adakah Huawei akan membangunkan ChatGPT sendiri seterusnya? Berdasarkan perniagaan semasa, susun atur apakah yang akan digunakan dalam model besar atau model berbilang modal?

Liu Qun: Pertama sekali, Huawei pasti akan menyahut cabaran secara langsung. Kami juga mempunyai banyak pengumpulan kawasan. Saya mungkin boleh menyediakan perancangan dan susun atur perniagaan yang khusus Sukar untuk menjadi terlalu spesifik di sini, tetapi anda mungkin perasan bahawa terdapat ucapan oleh En. Ren, di mana dia menyebut bahawa seseorang bertanya kepada En. Ren tentang ChatGPT . Ren berkata bahawa ChatGPT bukan sahaja harus dilihat sebagai masalah NLP atau visual , Malah, potensinya sangat besar, dan potensi yang lebih besar pada masa hadapan mungkin bukan pada permukaan yang mudah, ia mungkin gabungan penglihatan NLP. atau masalah pelbagai modal. Ia mungkin digunakan dalam pelbagai perniagaan Huawei, dan 80% daripada aplikasinya akan digunakan dalam beberapa perniagaan yang mungkin tidak anda bayangkan. Saya rasa potensinya sangat besar pastinya Huawei akan menghadapi cabaran secara berterusan dan membangunkan keupayaannya sendiri dalam bidang ini.

S5: Dari perspektif saintifik saraf, apakah hala tuju lain yang sistem ChatGPT cuba buat lebih serupa dengan maklum balas pemikiran manusia?

Li Chengyu: Ini jelas merupakan soalan yang sangat bagus. Sains otak dan perubatan dalaman sangat berbeza, dan setiap orang mempunyai pendapat yang sangat berbeza. Saya hanya boleh mewakili pendapat peribadi saya, saya fikir kecerdasan buatan umum mungkin menjadi perkara yang sangat penting pada masa hadapan. Jika ada entiti berdiri di sebelah saya yang kelihatan serupa dengan saya dan mempunyai kecerdasan yang serupa dengan saya, dia boleh membantu saya menyelesaikan masalah saya. Dari perspektif ini, ChatGPT semasa boleh mengambil pelbagai bentuk. Ia boleh menambah beberapa pergerakan ke dalamnya, dan dia memerlukan pembelajaran berterusan dan dia juga perlu mempunyai kesedaran diri. Saya fikir dengan kesedaran diri, kita boleh menyelesaikan banyak berita palsu yang baru disebut. Terdapat juga etika yang disebut tadi Dari sumber data yang paling asas, terdapat isu etika. Oleh kerana terdapat lebih daripada 190 negara di dunia, budaya kebanyakan negara tidak dicerminkan dalam ChatGPT Saya fikir dari perspektif etika keseluruhan, kita semua perlu berfikir dari perspektif baharu tentang cara membina yang lebih adil, lebih berkesan dan. badan yang lebih pintar. Soalan yang ditanya oleh pelajar RLCN sebenarnya merangkumi BIAS Induktif. Saya rasa Induktif BIAS sangat penting Peta kognitif awal ini berkaitan dengan kecerdasan, pergerakan keseluruhan, dan bimbingan yang saya sebutkan tadi. Ia juga penting untuk kelangsungan hidup.

S6: Adakah model besar GPT akan menumbangkan paradigma penyelidikan pembelajaran mesin sedia ada? Dalam era model pasca besar, adakah penyelidikan teori kecerdasan buatan masih penting?

Liu Qun: Walaupun saya bukan ahli teori, saya rasa teori itu penting, tetapi saya tidak membayangkan bagaimana teori boleh membantu kita . AI hari ini melakukan kerja yang lebih baik. Tetapi saya berharap teori itu dapat membantu menjawab soalan Kami sering bercakap tentang kemunculan model besar, tetapi tidak ada yang pelik tentang kemunculan itu sendiri model, apabila kanak-kanak normal membesar, Setelah mendapat 10 kali berat badan asal, kebolehannya mesti berbeza dari sebelumnya, jadi saya fikir ia adalah normal. Tetapi adakah terdapat sebarang teori yang boleh meramalkan dengan tepat saiz model dan saiz data yang diperlukan untuk pelbagai kebolehan muncul? Saya benar-benar ingin tahu tentang perkara ini, dan sejauh manakah model besar boleh muncul dengan keupayaan baharu?

Fang Meng: Saya fikir hala tuju penyelidikan masa depan yang mungkin ialah GPT telah menunjukkan keupayaan inferens logik yang kuat, saya ingin mengetahui cara membuktikan bahawa ini adalah nyata logik. Keupayaan inferens, bukannya inferens logik yang ditiru selepas mempelajari banyak data. Saya juga ingin tahu tentang berapa banyak data dan berapa besar model yang diperlukan untuk mempunyai keupayaan inferens logik. Jadi saya fikir kita boleh mempunyai beberapa keputusan empirikal, tetapi kita benar-benar perlu melakukan lebih banyak penyelidikan pada sisi teori jika kita akan mendapat jawapan yang betul.

Wen Jirong: Saya rasa soalan ini boleh dikaji Sekarang GPT4 atau model GPT besar yang lain telah menunjukkan begitu banyak kebolehan , atau tingkah laku seperti manusia. Adakah terdapat sains pada masa hadapan, seperti sains otak digital? Kerana model ini sendiri adalah objek kajian kami. Saya fikir kajian model besar itu sendiri sangat bermakna Apa yang ditemui di sini boleh memberi banyak implikasi penting untuk sains otak atau sains kognitif pada masa hadapan.

Li Chengyu: Saya rasa ini soalan yang bagus Anda boleh tanya GPT4 Sebabnya Stan Dehaene berkata terdapat dua kualiti teras dalam kesedaran. Pilihan Pemprosesan dan penyeliaan seksual, satu adalah untuk mempunyai pemprosesan maklumat input terpilih secara keseluruhan, dan satu lagi adalah untuk memantau kesedaran sendiri. Jadi dari perspektif ini, bolehkah ChatGPT sendiri atau keturunan masa depannya memantau tingkah lakunya sendiri? Ini adalah sesuatu yang anda boleh tanya pada peringkat teori, dan anda juga boleh membina rangka kerja atau struktur rangkaian baharu untuk menjana keupayaan ini. Dari perspektif ini, mungkin rangka kerja teori boleh membantu membina generasi baharu kecerdasan buatan.

Wang Jun: Ya, bukan perhatian sahaja yang tahu sempadan keupayaan. Sebagai contoh, di manakah sempadan keupayaan seni bina semasa Transformer? Apa yang boleh dan tidak boleh dilakukan Adakah ia mempunyai ingatan yang berfungsi? Di manakah sempadan keupayaan fungsi maklum balas? Beberapa perkara boleh muncul, dan beberapa perkara tidak boleh. Ini sememangnya memerlukan asas teori yang sangat kukuh untuk dikaji. Terdapat juga pengetahuan awal tentang Induktif BIAS Pertama sekali, reka bentuk Transformer itu sendiri adalah pengetahuan priori. Saya fikir isu-isu ini sangat memerlukan penyelidikan teori Tanpa bimbingan, semua orang akan menjadi lalat tanpa kepala.

Atas ialah kandungan terperinci Profesor Wang Jun menganjurkan 7 sarjana AI untuk membincangkan teori dan aplikasi kecerdasan buatan umum selepas ChatGPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!