Dengan restu ChatGPT, model besar membuat keputusan adalah satu langkah lebih dekat dengan AGI

Dalam masa kurang dari setahun, ChatGPT dan GPT-4 telah dikeluarkan satu demi satu, sentiasa menyegarkan pemahaman orang ramai tentang AI.

Teknologi baharu membawa perubahan dan juga mencetuskan perbincangan tentang sama ada AI akan menggantikan orang ramai Ketua Pegawai Eksekutif OpenAI Sam Altman juga secara terbuka menyatakan beberapa kebimbangan tentang keupayaan berkuasa teknologi kecerdasan buatan.

Baru-baru ini, Wang Jun, seorang profesor di Jabatan Sains Komputer di University College London (UCL), mengakui dalam temu bual dengan AI Technology Review bahawa walaupun ChatGPT mempunyai keupayaan bahasa dan perbualan yang kuat, ia tidak mampu membuat keputusan yang sistematik, seperti kawalan, kerjasama kumpulan, penjadualan dinamik, dll. Ini adalah bahagian yang lebih revolusioner dalam gelombang teknologi AI.

Wang Jun, Profesor Sains Komputer di University College London (UCL), Felo Turing dari Institut Alan Turing. Penyelidikan utamanya ialah sistem maklumat pintar, termasuk pembelajaran mesin, pembelajaran pengukuhan, pelbagai ejen, perlombongan data, pengiklanan pengiraan, sistem pengesyoran, dsb. Google Scholar telah disebut lebih daripada 16,000 kali, telah menerbitkan lebih daripada 120 kertas kerja akademik, dan telah dipetik berkali-kali Memenangi anugerah kertas terbaik.

Wang Jun

Pada April 2022, Institut Penyelidikan Otak Digital Shanghai telah diasaskan secara rasmi, dan Enigma Tech (nama Cina "Enigma Technology" dalam bahasa Cina) telah diinkubasi dan ditubuhkan secara dalaman "), Wang Jun berkhidmat sebagai pengasas bersama dan dekan Institut Penyelidikan Otak Digital Shanghai, dan berkhidmat sebagai ketua saintis Teknologi Teka-teki; pada separuh kedua tahun ini, Institut Penyelidikan Otak Digital membangunkan model pembuatan keputusan berbilang ejen berskala besar pertama di dunia, yang menyepadukan CV , NLP, pembelajaran pengukuhan dan pelbagai ejen, khusus untuk membantu perusahaan menyelesaikan masalah membuat keputusan berbilang senario.

Wang Jun percaya bahawa kemunculan ChatGPT telah menyelesaikan masalah bagaimana untuk menurunkan ambang dalam latihan model besar pada masa lalu Dengan menggabungkan pemprosesan bahasa semula jadi dengan model membuat keputusan yang besar, ChatGPT boleh membawa lebih daripada sekadar berbual, tetapi juga Berdasarkan AIGC (Kandungan Dijana AI, pengeluaran kandungan), kami akan meneroka lebih lanjut AIGA (Tindakan Dihasilkan AI, penjanaan keputusan), supaya keupayaan pemikiran dan membuat keputusan model boleh digunakan pada senario tertentu , dan benar-benar membantu perusahaan dan orang ramai menyelesaikan masalah membuat keputusan Kemanusiaan dikeluarkan kepada aktiviti yang lebih kreatif.

1. Ke arah "kecerdasan" dalam sistem berbilang ejen

Proses meneroka kecerdasan AI tidak dapat dipisahkan daripada mengejar isu definisi.

Wang Jun membahagikan laluan kepada kecerdasan kepada dua langkah. Langkah pertama adalah untuk menjelaskan perbezaan antara sistem biologi (sistem hidup (manusia tergolong dalam sistem biologi)) dan sistem bukan biologi.

Pada tahun 2013, ahli biofizik Jeremy England mencadangkan teori "penyesuaian yang didorong oleh pelesapan", yang mengaitkan asal usul kehidupan kepada hasil termodinamik yang tidak dapat dielakkan Tiada sistem molekul melaluinya dalam keadaan tertentu yang digunakan oleh metabolisme tenaga untuk menggalakkan penggunaan tenaga yang berterusan dan peningkatan "entropi".

Dalam teori peningkatan entropi dan penurunan entropi, proses perubahan badan hidup daripada gangguan kepada susunan secara berterusan menyerap tenaga dan secara berterusan mengurangkan entropi Wang Jun percaya bahawa AI dihasilkan daripada manusia, jadi ia juga menyerap tenaga ke membantu manusia menyelesaikan misi penurunan entropi, kunci untuk menyelesaikan masalah asas ialah cara mentakrifkan kecerdasan dan berapa banyak tenaga yang perlu diserap oleh AI untuk mencapai tahap kecerdasan tertentu.

Apabila menggunakan AI untuk pengelasan dan pengecaman imej, ketepatan algoritma pengelasan boleh mencapai 98%. Melalui pengelasan, AI boleh membantu kami mengubah organisasi kandungan imej yang tidak teratur kepada imej yang teratur dan teratur Ketidakpastian dalam sistem dikurangkan dan entropi dikurangkan. Pengurangan entropi juga memerlukan pengiraan, yang menentukan kuasa pengkomputeran algoritma Kuasa pengkomputeran adalah manifestasi tenaga yang digunakan.

Langkah kedua ke arah kecerdasan, Wang Jun percaya, adalah untuk membezakan kesedaran sistem biologi dan apa yang dipanggil sistem AI. Pada masa ini, kecerdasan buatan wujud sebagai alat Algoritma hanya boleh menilai kecemerlangan kerja AI dan meningkatkan pemahaman tentang kebimbangan kesedaran AI.

Pada pandangan Wang Jun, kesedaran adalah manifestasi penting kecerdasan Mamalia boleh mengesan kesedaran, melihat kesedaran dan membentuk perasaan subjektif pada masa yang sama, apabila berbilang individu berinteraksi dengan persekitaran, mesti ada selain a individu tunggal, individu lain yang sedar mempengaruhi dan bergema dengan persekitaran, supaya perasaan subjektif dapat diluahkan.

Dalam hal ini, Wang Jun dan pasukannya mencadangkan bahawa dalam penyelidikan AI, interaksi pelbagai ejen adalah perlu untuk mendorong kesedaran.

Ambil model besar sebagai contoh Tugasan silang ditakrifkan secara buatan dan terhad kepada tugasan tertentu Algoritma ini direka untuk mesin berfungsi keupayaan berfikir model dan kemahiran membuat keputusan tidak boleh dipertingkatkan.

Wang Jun memberitahu Kajian Teknologi AI, "Apabila memajukan pelbagai perkara pada masa yang sama, idea yang besar diperlukan untuk membimbing anda. Jika tidak, jelas terdapat kekurangan undang-undang yang sedia ada." kejayaan untuk model mesin.

Pada Mei 2022, DeepMind mengeluarkan ejen tujuan umum "GATO" yang menggabungkan CV dan NLP Ia boleh memainkan permainan Atari, mengeluarkan sari kata gambar, menyusun blok dengan lengan robot, berbual dengan orang, dsb. untuk memutuskan sama ada untuk mengeluarkan teks, tork bersama, menekan butang atau token lain (perkataan demi perkataan) berdasarkan konteks, kerja ini menyebabkan banyak perbincangan pada masa itu. Wang Jun juga merupakan salah seorang pengikut.

Malah, mulai tahun 2021, Wang Jun dan pasukannya mula berfikir tentang mencipta model membuat keputusan yang boleh merealisasikan tugasan silang dan menjadikan CV, NLP, pembelajaran pengukuhan dan pelbagai ejen menjadi keputusan bersatu -membuat model. Kemunculan "GATO" membolehkan Wang Jun melihat ruang luas model besar yang boleh diterokai "Ini sudah cukup untuk membuktikan bahawa ia adalah trend umum untuk satu model untuk menyelesaikan tugas dalam pelbagai bidang. membuat pada model besar tidak boleh hanya berdasarkan makna saiz model, pada dasarnya, adalah tahap kognisi tertentu yang dicapai melalui interaksi berterusan dengan persekitaran melalui pembelajaran pengukuhan dalam set data. Perkara teknikal terbesar ialah mengurangkan kerumitan pembelajaran pengukuhan dan interaksi persekitaran.

Data asal memainkan peranan penting dalam pautan ini.

Bina model pra-latihan dengan melatih data asal yang dijana oleh tugasan atau algoritma lain yang berinteraksi dengan persekitaran Model ini boleh digunakan dengan cepat apabila berhadapan dengan tugasan baharu, dengan itu merealisasikan peraturan, perhubungan dan Memaksimumkan nilai data. Memandangkan set data pra-latihan terus berkembang, model itu juga berkembang lebih besar sehingga ia dapat menampung semua tugas.

Hasil akhir ialah kaedah untuk menyelesaikan masalah dikumpulkan, dan pelbagai arah disatukan dan disatukan menjadi berbilang ejen yang boleh dijadualkan dan boleh digeneralisasikan merentas tugas. Ejen pelbagai ejen sering perlu mempertimbangkan hubungan keseimbangan, iaitu, semasa mencapai matlamat mereka sendiri, pihak lain juga boleh mencapai matlamatnya, dan menahan satu sama lain untuk mengekalkan keseimbangan yang stabil.

Dalam senario aplikasi praktikal, berbilang ejen juga boleh membantu orang ramai menyelesaikan banyak masalah praktikal, seperti carian, pengesyoran, dan juga pengiklanan Internet pada asasnya adalah proses membuat keputusan untuk membantu pengguna mencari kandungan yang mereka perlukan , dan Kandungan ini selaras dengan pilihan pengguna "Disyorkan kepada anda sebenarnya adalah keputusan."

Kelebihan berbilang ejen ialah ia boleh menggunakan sepenuhnya keupayaan merentas tugasnya.

Malah, seawal 2017, Wang Jun dan pelajarnya Zhang Weinan (profesor Universiti Shanghai Jiao Tong) memulakan percubaan silang tugas untuk menambah pembelajaran pengukuhan kepada pemprosesan bahasa semula jadi (NLP).

Apabila pemprosesan bahasa semula jadi menggunakan GAN untuk menjana teks pada masa lalu, parameter penalaan halus sering gagal berfungsi kerana data terputus dalam proses penukaran indeks perkataan dan vektor perkataan bukan itu sahaja, kerana model diskriminasi; daripada GAN sahaja Data yang dijana dijaringkan secara keseluruhan, tetapi teks biasanya dijana perkataan demi perkataan, menjadikannya sukar untuk mengawal butiran.

Untuk tujuan ini, mereka mencadangkan model SeqGAN, yang menyelesaikan masalah menggunakan GAN pada data diskret dengan menggunakan strategi pembelajaran pengukuhan Ini juga merupakan salah satu kertas kerja terawal yang menggunakan pembelajaran pengukuhan untuk melatih bahasa generatif model, merealisasikan Penjanaan teks, yang mempunyai pelbagai aplikasi dalam pelbagai bidang seperti pemprosesan bahasa semula jadi dan perolehan maklumat.

Alamat kertas: https://arxiv.org/pdf/1609.05473.pdf

"Pembelajaran peneguhan dan pembuatan keputusan pada asasnya saling berkaitan. Melalui peneguhan Pembelajaran boleh menyelesaikan beberapa masalah membuat keputusan "Pada pandangan Wang Jun, membuat keputusan adalah masalah penyelidikan jangka panjang. Cadangan model pembuatan keputusan pelbagai ejen berskala besar boleh membentuk kelebihan unik dalam bidang khusus tertentu selepas generalisasi, dan kebanyakannya adalah dalam AI Semua masalah boleh diselesaikan dengan bantuan model membuat keputusan yang besar.

2 AIGA melangkah lebih jauh daripada AIGC

Kepopularan yang disebabkan oleh ChatGPT belum berlalu Pada 15 Mac, selepas keluaran model besar pra-latihan berbilang mod GPT-4, satu lagi peristiwa yang mengganggu Perubahan akan datang.

Dalam pertandingan untuk kecerdasan buatan am ini, ChatGPT dan GPT-4 bukanlah titik akhir Tumpuan utama persaingan adalah pada revolusi perindustrian dan inovasi yang lebih bernilai.

Dalam tempoh ini, Wang Jun juga mengekalkan komunikasi rapat dengan rakan-rakan yang mengambil berat tentang modal pasaran.

Pada pandangan Wang Jun, beberapa masalah dalam kalangan akademik tidak cukup berani dan tertakluk kepada kekangan sumber, dan memikirkan masalah akan dikekang oleh faktor tertentu. Dalam dunia perindustrian, model membuat keputusan yang besar boleh mempunyai senario aplikasi yang lebih kaya Sama ada dalam industri tradisional, pengesyoran carian Internet, Internet industri, dsb., pelbagai keputusan diperlukan.

Dengan memikirkan idea ini, Wang Jun mula mempertimbangkan kemungkinan untuk menyepadukan model membuat keputusan berskala besar ke dalam industri, akademik dan penyelidikan.

Selepas setahun tempoh penyediaan, Institut Penyelidikan Otak Digital Shanghai telah ditubuhkan secara rasmi pada April 2022. Enigma Tech ("Teknologi Enigma") telah diinkubasi dan ditubuhkan secara dalaman, terutamanya bertanggungjawab untuk membawa hasil penyelidikan saintifik Digital Institut Penyelidikan Otak kepada industri Dilaksanakan untuk menyediakan senario kehidupan sebenar dan data perniagaan sebenar untuk Institut Penyelidikan Digital. Wang Jun berkhidmat sebagai pengasas bersama dan dekan Institut Matematik, dan sebagai ketua saintis Teknologi Teka-teki.

Apabila model besar memasuki senario aplikasi sebenar, syarikat sering menghadapi dua masalah utama: model bukan spektrum luas dan ambang untuk kemasukan adalah tinggi.

Kaedah pembelajaran mesin klasik menggunakan model tersuai Selepas perusahaan mengeluarkan tugas, ia mula-mula mentakrifkan masalah, mengumpul data untuk latihan dan menguji model tersebut selepas tugasan kedua dikeluarkan mengumpul, mentakrifkan masalah dan mengumpul data semula Latihan data dan ujian model sering menyebabkan perusahaan membazirkan banyak sumber kewangan dan manusia pada penggunaan, dan spektrum yang luas tidak kukuh. Pada masa yang sama, penggunaan model besar memerlukan keupayaan teknikal jurutera yang sangat tinggi dan memerlukan pengalaman pengoptimuman tertentu, dan ambang untuk penyertaan perusahaan adalah tinggi.

Wang Jun percaya bahawa ChatGPT digabungkan dengan model besar membuat keputusan boleh menyelesaikan masalah spektrum luas ambang rendah dengan berkesan.

Di bawah pemikiran sedemikian, Wang Jun mengetuai pasukan teknologi teka-teki untuk mencadangkan model besar DB (model besar arah AIGA, AIGA: AI Generated Actions, penjanaan keputusan), dan DB1 pertamanya ialah multi-modal pertama di dunia model Model besar membuat keputusan, yang ditanda aras terhadap GATO yang dilancarkan oleh DeepMind, boleh menyokong sepenuhnya pelbagai ejen dan boleh mengendalikan lebih daripada seribu tugas membuat keputusan secara serentak.

Prestasi DB1 dalam tugas kerjasama kenderaan

Dengan menggabungkan ChatGPT dengan model membuat keputusan yang besar, ChatGPT boleh membawa lebih daripada sekadar berbual, tetapi juga Pada asas AIGC, AIGA diterokai lebih lanjut untuk menggunakan pemikiran model dan keupayaan membuat keputusan kepada senario tertentu Interaksi yang terhasil berinteraksi dengan persekitaran senario tertentu, dan data kecil boleh menyelesaikan tugas besar, yang boleh berorientasikan secara langsung kepada senario industri sebenar. . Dengan bantuan data besar Model ini merealisasikan gelung tertutup tugas dan membolehkan aplikasi yang lebih luas seperti kerjasama robot, dinamik peralatan, penjadualan autonomi perusahaan dan pembangunan perisian.

Dan kemudian benar-benar membantu syarikat dan orang ramai menyelesaikan masalah membuat keputusan, membebaskan manusia ke dalam aktiviti yang lebih kreatif. "Akhirnya, ia akan membawa promosi hebat kepada kemajuan seluruh umat manusia. Di bawah keadaan ini, kita boleh membiak AGI (Kecerdasan Am Buatan) yang sebenar

Pada masa ini, struktur asas Institut Penyelidikan Otak Digital telah Pembinaan selesai, dan kandungan perniagaan merangkumi segala-galanya daripada algoritma, sistem kepada projek kejuruteraan tertentu Ia boleh digunakan pada sistem pengesyoran, ramalan kesalahan, pemanduan autonomi, reka bentuk pasaran, senario permainan, pengoptimuman EDA dan senario lain untuk menyelesaikan praktikal. masalah dalam operasi perusahaan.

Bagi Wang Jun, perasaan dan keadaan meninggalkan makmal dan menubuhkan Institut Penyelidikan Otak Digital adalah berbeza sama sekali: adalah mustahil untuk mempertimbangkan semua faktor bersama-sama dalam penyelidikan Untuk menyelesaikan masalah ini, perkara lain mesti terlebih dahulu Penyederhanaan melibatkan penyelesaian masalah sebenar sebelum beralih kepada yang seterusnya manakala pelaksanaan sesuatu penyelidikan lebih berkemungkinan merupakan himpunan pelbagai masalah, memerlukan setiap masalah diselesaikan satu persatu, dan kaedah untuk menyelesaikan masalah tersebut; digunakan secara seragam.

Pada Julai tahun lalu, Kajian Teknologi AI mendapat penghormatan untuk mengadakan perbincangan mendalam dengan Dean Wang Jun. Pada masa itu, beliau menyatakan bahawa matlamat Institut Matematik adalah untuk mempromosikan kecerdasan membuat keputusan penyelidikan dan penyelidikan AI, dan untuk melakukan yang terbaik di China , penyelidikan yang paling asas.

Hanya dalam satu tahun, kemunculan model seperti Stable Diffusion, ChatGPT dan GPT-4 mengejutkan Wang Jun untuk menyedari kemajuan revolusioner teknologi AI, yang juga menjadikannya lebih memahami Institut Matematik .

Dari akademi ke industri, Institut Penyelidikan Otak Digital telah lama tidak berkembang, dan prototaipnya juga mencerminkan hala tuju penerokaan Wang Jun di jalan kecerdasan buatan. "Kami hanya mahu mengikut jalan kami sendiri. Bagaimana kami boleh menggabungkan industri, akademik dan penyelidikan untuk mencipta laluan baharu dan bertanya beberapa soalan yang belum pernah ditanya sebelum ini."

3 >

Model Besar Pembuatan Keputusan Pelaksanaan Institut Sains Matematik

Tinjauan Teknologi AI: Memperkenalkan kerja dan kemajuan yang dibuat oleh Institut Matematik pada tahun lalu mengenai model pembuatan keputusan berbilang ejen berskala besar.

Wang Jun: Saya mula merancang topik baharu pada musim panas lalu. Kami merasakan bahawa model besar bukan sahaja dalam NLP dan CV, tetapi juga memainkan peranan besar dalam membuat keputusan, "GATO" DeepMind. kerja cuba untuk Meletakkan pelbagai tugasan ke dalam model besar dan mempelajarinya dalam Transform memberi inspirasi kepada kami, jadi kami memutuskan untuk meneroka lebih lanjut berdasarkannya dan membuat model membuat keputusan yang besar, termasuk data video dan imej , data bahasa semula jadi, data robot, malah data penyelesai, seperti cara melaksanakan tugas pengoptimuman, mengatur jadual pengeluaran, mengoptimumkan kenderaan, dsb. Kami membuat model besar dengan kira-kira 1 bilion atau 1.5 bilion parameter Walaupun ia merupakan penerokaan awal, ia juga membuktikan bahawa model besar bukan sahaja pemprosesan bahasa semula jadi, tetapi juga memainkan peranan penting dalam membuat keputusan.

Beberapa masa lalu kami sedang mengusahakan permainan bola sepak dan menemui masalah yang tidak dapat diselesaikan: logik penyelidikan semasa pembelajaran pengukuhan, AlphaGo, StarCraft, Dota dan sistem permainan lain, semakin ramai orang, semakin banyak keputusan mereka membuat Ruang juga akan menjadi lebih kompleks.

Dalam hal ini, kami menggunakan bola sepak dalam kancah permainan sebagai titik penyelidikan dan membuat banyak percubaan dalam model besar membuat keputusan berbilang ejen, daripada bola sepak mudah 2 orang, kepada 5 orang, hingga 11 -orang. Ini adalah senario yang agak besar dan mencabar untuk pembelajaran pengukuhan Pada masa ini, sifat masalah itu belum diselesaikan sepenuhnya, atau ia telah diselesaikan dengan baik, jadi kami telah menghabiskan banyak masa untuk perkara ini, dengan harapan dapat membuat beberapa perkara. pencapaian.

Tinjauan Teknologi AI: Selepas keluaran ChatGPT, apakah kesannya terhadap penyelidikan Institut Matematik?

Wang Jun: Tumpuan kami sentiasa tertumpu pada membuat keputusan, dan ia tetap sama sekarang. Tetapi selepas ChatGPT keluar, kami sangat terkejut dengan keupayaan bahasanya, yang sepenuhnya melebihi jangkaan kami dan juga memainkan peranan tertentu dalam mempromosikan tugas membuat keputusan.

Dalam proses pengoptimuman membuat keputusan, dua masalah utama perlu diselesaikan: spektrum luas dan ambang rendah.

Model membuat keputusan yang besar menyelesaikan masalah spektrum luas model pada tahap tertentu Tugas baharu diletakkan dalam model besar untuk lelaran dan penalaan halus. membuat masalah.

Masalah ambang rendah adalah perkara biasa dalam syarikat AI Sebelum ini, penggunaan model besar memerlukan kebolehan jurutera yang sangat tinggi selalunya diperlukan untuk mengambil bahagian dalam proses membuat keputusan yang bermasalah individu dan perusahaan Ambangnya sangat tinggi, yang juga meningkatkan kos penggunaan AI.

Untuk menyelesaikan masalah ambang rendah untuk digunakan, kami sebelum ini membayangkan mencipta bahasa yang agak mudah yang boleh menjadi lebih kompleks dan ketat daripada bahasa semula jadi, tetapi lebih mudah daripada pengaturcaraan sebenar Sesiapa sahaja boleh menggunakannya, ChatGPT The kemunculan , tiba-tiba menyedarkan kita bahawa bahasa semula jadi mesin boleh mencapai tahap komunikasi biasa dengan orang, dan titik kesakitan ambang rendah diselesaikan sekaligus. Bagi kami, kesan perubahan ini agak besar.

Apa yang lebih menarik ialah ChatGPT mempunyai keupayaan penaakulan logik tertentu, yang boleh membantu kami menguraikan masalah yang kompleks kepada beberapa sub-masalah ini pada asalnya memerlukan profesional untuk menguraikannya secara manual, tetapi melalui ChatGPT Dengan semantik. pemahaman, apabila contoh diperoleh, masalah itu boleh diuraikan kepada masalah asas, dan kemudian keupayaan membuat keputusan yang sedia ada bagi masalah asas boleh digunakan secara langsung melalui model membuat keputusan yang besar.

CtGPT merendahkan ambang untuk membuat keputusan

Komen Teknologi AI: Model membuat keputusan berbilang ejen meliputi banyak bidang. Apakah keperluan data? Selepas menggabungkannya dengan ChatGPT, adakah terdapat keperluan khas untuk data dalam medan tertentu?

Wang Jun: Ia akan mempunyai beberapa keperluan khusus.

Data bahasa asli adalah di luar talian dan tergolong dalam pembelajaran metodologi; membuat keputusan memerlukan banyak keupayaan penjanaan data dan memerlukan simulator. Contohnya, apabila kami melatih anjing robot untuk berjalan, kami tidak akan membiarkannya berjalan-jalan pada hari hujan atau persekitaran lain untuk mengumpul data Sebaliknya, kami sering membina simulator yang hampir sama dengan dunia luar dan menggunakan simulator untuk menjana data. , selepas model dipelajari, ia dimasukkan ke dalam adegan sebenar untuk memberi maklum balas, dan kemudian kembali untuk belajar semula, supaya ia boleh memindahkan keupayaan membuat keputusannya dengan cepat kepada aplikasi kehidupan sebenar. Teknologi model besar merangkumi pelbagai adegan, sama ada hujan, berjalan di atas tangga, atau berjalan di atas pasir, tidak ada masalah.

Anjing mekanikal berjalan dalam persekitaran yang berbeza

Kesukaran kedua ialah latihan data membuat keputusan adalah lebih sukar daripada pemprosesan bahasa semula jadi Data sentiasa dijana dalam proses ini Kecekapan penjanaan data, di mana ia dijana, dan cara memperuntukkannya kepada pelbagai modul pembelajaran pembelajaran , penyelesaian peringkat sistem bersatu diperlukan Sebelum ini, kami telah membangunkan satu set kaedah pembelajaran berskala besar, yang digunakan terutamanya dalam kaedah latihan pembelajaran pengukuhan ini. Namun, selepas ChatGPT keluar, kaedah latihan berdasarkan model oracle besar tidak sesuai.

Tinjauan Teknologi AI: Dalam senario tertentu, bagaimana untuk menggunakan ChatGPT untuk digabungkan dengan model membuat keputusan yang besar?

Wang Jun: Mari kita ambil kes anjing mekanikal: Pada mulanya, kami menggunakan kaedah klasik untuk melatih anjing mekanikal Masalahnya ialah ia tidak mempunyai masalah berjalan pada satu keadaan jalan persekitaran, tetapi ia menghadapi hari hujan dan bersalji Ia tidak boleh berjalan, tetapi apabila kami menambah penyelesaian model besar, anjing mekanikal itu mula mempunyai keupayaan interaktif asas dan boleh melakukan penaakulan. Hantar arahan kepada anjing robot untuk menghantar mesej, dan model akan menguraikan tugas secara automatik kepada 1 hingga 5 langkah asas Setiap modul mempunyai logik yang sepadan dalam penghantaran, seperti perancangan laluan dari titik A ke titik B.

Memandangkan anjing robot itu sendiri tidak mempunyai konsep pergi ke timur atau barat, hanya koordinat, adalah perlu untuk menggabungkan dan menyesuaikan arahan interaktif dengan semantik tertentu Melalui ChatGPT, kita tidak perlu menukar arahan Ia adalah bahasa pengaturcaraan yang boleh berinteraksi secara langsung selepas menerima soalan, anjing robot akan menguraikan arahan kepada beberapa soalan yang berbeza. Ia terlebih dahulu akan mengoptimumkan sebahagian daripada Sembang dan memadankan tindakan, keputusan dan semantik dengan bahasa semula jadi yang dihasilkan oleh ChatGPT.

Ini telah menjadi hala tuju utama penyelidikan kami yang seterusnya daripada menjana kandungan kepada Untuk menjana tindakan, menjana keputusan.

Kekuatan Institut Penyelidikan Matematik adalah dalam model membuat keputusan berskala besar, oleh itu, kami menegaskan hala tuju model membuat keputusan berskala besar Kami mahu AI bukan sahaja berkomunikasi, tetapi yang lebih penting , membantu anda mengoptimumkan dan membantu anda Kami fikir ia sangat berharga dalam membuat keputusan. Selepas ChatGPT digabungkan dengan model membuat keputusan yang besar, interaksi yang dihasilkan tidak lagi terhad kepada keupayaannya untuk menjawab soalan, tetapi juga sama ada ia boleh memahami pembinaan yang kompleks dan kompleks Dengan berinteraksi dengan persekitaran senario tertentu, ChatGPT boleh digabungkan dengan model besar membuat keputusan untuk merealisasikan Kerjasama robot, dinamik peralatan, penjadualan autonomi perusahaan, pembangunan perisian dan aplikasi lain yang lebih luas.

Bahasa semula jadi adalah asas

Komen Teknologi AI: Selepas melatih data berbilang modal, berapakah bilangan parameter yang akan muncul lebih banyak keupayaan? imej, suara, video...Modaliti manakah yang akan memberi kesan yang lebih besar pada model berbilang modal?

Wang Jun: Dari segi data, terdapat had tertentu untuk idea "kuasa boleh menghasilkan keajaiban." Walaupun kita belum melihat sepenuhnya had ini, saya rasa kita tidak hanya fokus dalam mempelajari latihan ChatGPT Way.

ChatGPT mempunyai kemahiran bahasa yang kuat dan kemahiran perbualan yang kuat, tetapi adakah ChatGPT benar-benar memahami perkara yang diserapnya? Saya rasa ia tidak difahami. Biarkan ia bermain permainan teka-teki pada zahirnya ia boleh bermain, tetapi sebenarnya ia tidak tahu dan tidak dapat meneka nombor dalam fikiran anda. ChatGPT lebih kepada menghafal kandungan logik dalam data latihan asal Keupayaannya untuk memadankan maklumat adalah sangat kuat, tetapi keupayaannya untuk benar-benar memahami adalah sangat lemah.

Bagaimana untuk memecahkan hadnya? Saya fikir kita perlu menambah pemahaman model tentang seluruh dunia kepada latihan Jika ia tidak membina model matematik untuk menggambarkan dunia dan meletakkan pemahamannya ke dalam model dunia, ia tidak akan mempunyai pemahaman yang lebih mendalam tentang dunia sekeliling. daripada. Untuk memberikan contoh mudah, kami memberikan ChatGPT semua data keupayaan bermain catur manusia di bawah 2000 mata Jika model itu hanya meniru orang, maka ia tidak boleh meniru kecerdasan lebih tinggi daripada 2000 mata.

Pembantu penciptaan AI yang sebelum ini dibuat oleh pasukan Wang Jun

Data adalah penting, tetapi pada masa yang sama, saiz model juga penting dan mestilah kaedah latihan yang berbeza untuk memperbaikinya.

Dalam multimodaliti, bahasa semula jadi adalah asas Apabila orang berfikir, bahasa adalah pembawa pemikiran kita, ia membina penerangan logik yang agak jelas, yang mungkin tidak 100% Tegas, terdapat beberapa aspek yang tidak jelas dan kabur. , tetapi sudah cukup untuk kita menyatakan beberapa hubungan logik yang sangat kompleks.

Tetapi pada masa yang sama, kita juga mesti sedar dengan jelas bahawa maklumat semantik dan ungkapan yang tersirat dalam bahasa semula jadi adalah sangat penting, dengan kata lain, ia mungkin dapat menyatakan masalah dengan sangat jelas, tetapi ini hanya penampilan. , perkara yang paling penting ialah hubungan semantik yang terkandung dalam dialog Apabila modaliti multi-modal lain datang, ia boleh dipindahkan ke modaliti lain dengan memadankan ungkapan semantik yang sepadan.

Berdasarkan bahasa semula jadi, kami boleh menambah modaliti lain untuk mengambil bahagian dalam model.

Tinjauan Teknologi AI: Bagaimanakah anda melihat kesan data "maklum balas manusia" pada model besar berbilang modal atau model besar yang membuat keputusan?

Wang Jun: Beberapa data maklum balas manusia diperlukan, tetapi jumlahnya tidak sebesar keperluan pembelajaran yang diselia sebelum ini. Model asas hanya perlu diberikan beberapa demonstrasi untuk menyesuaikan diri dengan senario misi baharu, membolehkan model asas mendedahkan keupayaan asalnya. Ini adalah inovasi model latihan pembelajaran mesin klasik.

Pada masa lalu, kebanyakan syarikat AI menggunakan pembelajaran mesin dalam model tersuai Apabila tugasan datang, mereka mula-mula menentukan masalah, mengumpul data untuk latihan dan menguji model tersebut mengumpul dan mentakrifkan semula masalah itu Mengumpul data untuk latihan dan ujian model bukan sahaja sukar untuk ditiru, tetapi penggunaan juga menggunakan banyak sumber kewangan dan manusia.

Pembelajaran mesin selepas ChatGPT adalah model besar dahulu Saya tidak perlu tahu apa masalah khusus, saya boleh membina model itu dahulu, kemudian mengedarkannya kepada pelanggan atau pengilang, dan meletakkan tiruan di tempat tertentu. model besar yang tidak mempunyai keupayaan untuk melatih Bagi syarikat yang mempunyai keupayaan, syarikat menggunakan dan kemudian mentakrifkan keseluruhan proses secara terbalik Intipatinya adalah untuk mengaktifkan model besar dan menerapkannya pada tugas tertentu, kemudian mentakrifkan tugas dan hasil output, yang sangat penting. mengurangkan kesan data "maklum balas manusia" pada model, benar-benar merealisasikan AI spektrum luas dan ambang rendah.

Komen Teknologi AI: Sesetengah orang percaya bahawa dalam pusingan pertandingan ChatGPT ini, kuasa pengkomputeran dan model tidak lagi penting seperti dalam dua tempoh sebelumnya, tetapi senario dan data akan menjadi kunci kepada pusingan ini adakah anda fikirkan?

Wang Jun: Model sangat penting. Peningkatan semasa dalam keupayaan bahasa beberapa model besar akan membawa kepada model yang mempunyai keupayaan untuk memahami orang, tetapi ini hanyalah penampilan. Kaedah latihan model asas yang hanya bergantung pada beberapa perkataan untuk meramalkan perkataan seterusnya adalah sukar untuk menghasilkan kecerdasan yang lebih besar Kebolehan berfikir dan membuat keputusan model tidak boleh dipertingkatkan, dan kedua-dua ini adalah kebolehan paling asas kecerdasan buatan yang anda perlukan untuk mengetahui cara berinteraksi dengan persekitaran.

Dari perspektif model ini, model ini masih perlu diinovasikan dengan seni bina The Transform yang sangat bagus, tetapi ini tidak bermakna kita masih memerlukan yang inovatif, kreatif dan bertimbang rasa Model rangkaian saraf muncul.

Kuasa pengkomputeran, model, data dan senario semuanya sangat penting Apabila data dan kuasa pengkomputeran mencapai tahap tertentu, inovasi baharu diperlukan Selepas inovasi, pembolehubah data dan kuasa pengkomputeran terkumpul , dan kemudian Mencapai ketinggian tertentu dan berinovasi ialah proses lingkaran.

Senario adalah tujuan akhirnya, kita perlu mentakrif dan menyelesaikan masalah dalam senario, dan bukannya meninggalkan penyelidikan di peringkat akademik. Selepas adegan dipacu, model atau kaedah baharu digunakan, dan data serta kuasa pengkomputeran digunakan untuk menjadikannya mencapai tahap ekstrem yang lain.

ChatGPT adalah spektrum yang sangat luas, tetapi ini tidak bermakna ia boleh menyelesaikan semua masalah AI Apakah yang perlu kita fikirkan dalam senario seterusnya dan apakah masalah yang boleh diselesaikannya? Inti masalah adalah untuk menjadikan pemikiran model dan keupayaan membuat keputusan benar-benar terpakai kepada senario tertentu Pada masa yang sama, ia mesti berinteraksi dengan alam sekitar, manusia dan pelbagai senario, dan akhirnya menyedari kesan keseluruhan industri tenaga. . Ia telah membawa promosi besar kepada kemajuan umat manusia secara keseluruhan.

Dalam kes ini, kita boleh membiak AGI sebenar. Ini juga merupakan matlamat Institut Matematik.

Atas ialah kandungan terperinci Dengan restu ChatGPT, model besar membuat keputusan adalah satu langkah lebih dekat dengan AGI. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!