"Seruan untuk inovasi: UCL Wang Jun membincangkan teori dan prospek aplikasi kecerdasan buatan umum ChatGPT"

*Artikel ini pada asalnya ditulis dalam bahasa Inggeris Terjemahan bahasa Cina telah dilengkapkan oleh ChatGPT Ia dipersembahkan sebagaimana adanya, dengan beberapa kesamaran ditandakan untuk pembetulan (bahagian merah dan kuning). Sila lihat lampiran untuk manuskrip Inggeris. Penulis mendapati bahawa ketidakcukupan dalam terjemahan ChatGPT selalunya disebabkan oleh kekurangan ungkapan yang fasih dalam manuskrip bahasa Inggeris asal. Pembaca yang berminat harus membacanya dengan teliti.

CtGPT baru-baru ini telah menarik perhatian daripada komuniti penyelidikan, komuniti perniagaan dan orang awam. Ia adalah chatbot umum yang boleh menjawab gesaan atau soalan terbuka daripada pengguna. Rasa ingin tahu timbul tentang kemahiran bahasa yang luar biasa, seperti manusia, yang membolehkannya memberikan respons yang koheren, konsisten dan tersusun dengan baik. Terima kasih kepada model bahasa generatif pra-latihan yang besar, interaksi perbualan berbilang gilirannya menyokong pelbagai tugas berasaskan teks dan kod, termasuk penciptaan novel, permainan perkataan, dan juga manipulasi robot melalui penjanaan kod. Ini menyebabkan orang ramai percaya bahawa pembelajaran mesin umum dan pemahaman mesin akan dapat dicapai tidak lama lagi.

Jika anda menggali lebih dalam, seseorang mungkin mendapati bahawa apabila kod pengaturcaraan ditambah sebagai data latihan, kebolehan penaakulan tertentu, pemahaman akal fikiran dan juga rantaian pemikiran (satu siri langkah penaakulan Pertengahan) mungkin timbul. Walaupun penemuan baharu ini menarik dan membuka kemungkinan baharu untuk penyelidikan dan aplikasi kecerdasan buatan, ia menimbulkan lebih banyak persoalan daripada diselesaikan. Sebagai contoh, bolehkah kebolehan munculemergen ini berfungsi sebagai penunjuk awal kecerdasan lanjutan, atau adakah ia hanya tiruan naif terhadap tingkah laku manusia? Bolehkah terus mengembangkan model yang sudah besar-besaran membawa kepada penciptaan kecerdasan am buatan (AGI), atau adakah model ini seolah-olah AI dengan keupayaan terhad? Jika soalan ini dijawab, ia boleh membawa kepada perubahan asas dalam teori dan aplikasi kecerdasan buatan.

Oleh itu, kami menggesa bukan sahaja untuk meniru kejayaan ChatGPT, tetapi yang lebih penting untuk memacu penyelidikan terobosan dan pembangunan aplikasi baharu dalam bidang kecerdasan buatan berikut (ini bukan senarai yang lengkap) :

1 Teori pembelajaran mesin baharu melangkaui berdasarkan Tugas daripadaSpesifik Paradigma pembelajaran mesin yang mantap

Penaakulan induktif ialah sejenis penaakulan di mana kita membuat kesimpulan tentang dunia berdasarkan pemerhatian lepas sebagai kesimpulan. Pembelajaran mesin boleh dianggap secara longgar sebagai penaakulan induktif kerana ia menggunakan data (latihan) lalu untuk meningkatkan prestasi pada tugasan baharu. Mengambil terjemahan mesin sebagai contoh, proses pembelajaran mesin biasa merangkumi empat langkah utama berikut:

1 Tentukan masalah khusus, seperti yang perlu menterjemah Ayat Inggeris ke dalam bahasa Cina : E → C,

2 Kumpul data, seperti pasangan ayat {E → C},

3. Latih model, contohnya menggunakan rangkaian neural dalam dengan input {E} dan output {C},

4. Gunakan model pada titik data yang tidak diketahui, seperti memasukkan ayat bahasa Inggeris yang baharu E' dan mengeluarkan terjemahan Cina C ' dan menilai hasilnya.

Seperti yang ditunjukkan di atas, pembelajaran mesin tradisional mengasingkan latihan bagi setiap tugasan tertentu. Oleh itu, untuk setiap tugasan baharu, proses mesti ditetapkan semula dan dilaksanakan semula dari langkah 1 hingga langkah 4, kehilangan semua pengetahuan yang diperoleh (data, model, dll.) daripada tugasan sebelumnya. Contohnya, jika anda ingin menterjemah bahasa Perancis ke bahasa Cina, anda memerlukan model yang berbeza.

Di bawah paradigma ini, kerja ahli teori pembelajaran mesin memfokuskan pada pemahaman keupayaan model pembelajaran untuk membuat generalisasi daripada data latihan kepada data ujian yang tidak kelihatan. Sebagai contoh, soalan biasa ialah berapa banyak sampel yang diperlukan dalam latihan untuk mencapai ralat tertentu yang terikat pada meramalkan data ujian yang tidak kelihatan. Kita tahu bahawa induksibiasbias (iaitu, pengetahuan terdahulu atau andaian terdahulu) adalah perlu untuk model pembelajaran meramalkan outputnya yang tidak ditemui. Ini kerana nilai keluaran dalam situasi yang tidak diketahui adalah sewenang-wenangnya dan adalah mustahil untuk menyelesaikan masalah tanpa membuat andaian tertentu. Teorem tiada makan tengah hari percuma yang terkenal seterusnya menggambarkan bahawa sebarang bias induktif mempunyai had; ia hanya akan berfungsi untuk set masalah tertentu, dan ia mungkin gagal di tempat lain jika pengetahuan a priori yang diandaikan tidak betul.

Rajah 1 Tangkapan skrin ChatGPT untuk terjemahan mesin. Gesaan pengguna mengandungi arahan sahaja dan tidak memerlukan contoh tunjuk cara.

Walaupun teori di atas masih terpakai, kemunculan model bahasa asas mungkin telah mengubah pendekatan kami terhadap pembelajaran mesin. Proses pembelajaran mesin baharu boleh menjadi seperti berikut (mengambil masalah terjemahan mesin sebagai contoh, lihat Rajah 1):

1 API mengakses model bahasa asas yang dilatih oleh orang lain, sebagai contoh, latihan termasuk Bahasa Inggeris/ Model untuk pelbagai dokumen termasuk korpora berpasangan Cina.

2 Berdasarkan beberapa atau tiada contoh, reka bentuk penerangan teks yang sesuai (dipanggil gesaan) untuk tugasan yang sedang dijalankan, seperti PromptPrompt = {Beberapa contoh E ➔ C}.

3. Disyaratkan pada gesaan dan diberi titik data ujian baharu, model bahasa menjana jawapan, seperti menambahkan E’ pada gesaan dan menjana C’ daripada model.

4. Tafsirkan jawapan sebagai ramalan.

Seperti yang ditunjukkan dalam langkah 1, model bahasa asas berfungsi sebagai sejagatsatu saiz untuk semua asas pengetahuan. Petunjuk dan konteks yang disediakan dalam langkah 2 membolehkan model bahasa asas disesuaikan untuk menyelesaikan matlamat atau masalah tertentu berdasarkan sebilangan kecil contoh tunjuk cara. Walaupun saluran paip di atas terutamanya terhad kepada masalah berasaskan teks, adalah munasabah untuk mengandaikan bahawa apabila model asas pra-latihan berkembang merentas modaliti (lihat Bahagian 3), ia akan menjadi standard untuk pembelajaran mesin. Ini boleh memecahkan halangan misi yang diperlukan dan membuka jalan kepada Kecerdasan Am Buatan (AGI).

Walau bagaimanapun, ia masih dalam peringkat awal untuk menentukan cara contoh demo dalam teks petua alat akan berfungsi. Daripada beberapa kerja terdahulu, kami kini memahami bahawa format sampel demo adalah lebih penting daripada ketepatan label (cth., seperti yang ditunjukkan dalam Rajah 1, kami tidak perlu menyediakan contoh terjemahan, tetapi hanya perlu menyediakan penerangan bahasa), tetapi adakah terdapat sebarang had teori untuk penyesuaiannya, seperti yang dinyatakan dalam teorem "tiada makan tengah hari percuma"? Bolehkah pengetahuan tentang konteks dan imperatif yang dinyatakan dalam gesaan disepadukan ke dalam model untuk kegunaan masa hadapan? Soalan-soalan ini hanya mula diterokai. Oleh itu, kami menyeru pemahaman baharu dan prinsip baharu tentang bentuk pembelajaran kontekstual baharu ini serta had dan sifat teorinya, seperti menyiasat di mana sempadan generalisasi terletak.

Rajah 2 Ilustrasi Penjanaan Keputusan Kepintaran Buatan (AIGA) yang digunakan untuk mereka bentuk permainan komputer.

2. Asah kemahiran penaakulan anda

Kami berada di ambang era yang menarik di mana semua data bahasa dan tingkah laku kami boleh dilombong untuk latihan (dan diasimilasikan ke dalam model berkomputer yang besar). Ini adalah pencapaian yang besar kerana keseluruhan pengalaman kolektif dan tamadun kita boleh dicernakan ke dalam pangkalan pengetahuan (tersembunyi) (dalam bentuk rangkaian saraf tiruan) untuk kegunaan kemudian. Malah, ChatGPT dan model asas besar dianggap mempamerkan beberapa bentuk keupayaan penaakulan dan mungkin juga beberapa pemahaman tentang keadaan fikiran orang lain (teori fikiran). Ini dicapai melalui pemadanan data (ramalan token bahasa bertopeng sebagai isyarat latihan) dan peniruan (tingkah laku manusia). Walau bagaimanapun, sama ada strategi yang didorong sepenuhnya oleh data ini akan membawa kepada kecerdasan yang lebih besar boleh dipertikaikan.

Untuk menggambarkan perkara ini, ambil contoh mengarahkan ejen (ejen) cara bermain catur. Walaupun ejen (ejen) mempunyai akses kepada jumlah data permainan catur manusia yang tidak terhad, adalah sangat sukar untuk menjana strategi baharu yang lebih baik daripada data sedia ada hanya dengan meniru strategi sedia ada. Walau bagaimanapun, menggunakan data ini, seseorang boleh membina pemahaman tentang dunia (cth., peraturan permainan) dan menggunakannya untuk "berfikir" (membina simulator dalam otaknya untuk mengumpulkan maklum balas untuk mencipta strategi yang lebih baik). Ini menyerlahkan kepentingan bias induktif; daripada hanya menggunakan pendekatan kekerasan, agen pembelajaran (ejen) dikehendaki mempunyai model dunia tertentu untuk memperbaiki dirinya.

Oleh itu, terdapat keperluan mendesak untuk mengkaji secara mendalam dan memahami keupayaan yang muncul bagi model asas. Sebagai tambahan kepada kemahiran bahasa, kami menyokong pemerolehan kebolehan penaakulan praktikal melalui kajian mekanisme asas. Satu pendekatan yang menjanjikan ialah mendapatkan inspirasi daripada sains saraf dan sains otak untuk menguraikan mekanisme penaakulan manusia dan memajukan pembangunan model bahasa. Pada masa yang sama, membina teori minda yang kukuh juga mungkin memerlukan pemahaman mendalam tentang pembelajaran pelbagai agen dan prinsip asasnya.

3 Daripada AI Generated Content (AIGC) kepada AI Generated Action (AIGA)

Perkembangan manusia bahasa Semantik tersirat yang diekstrak adalah penting kepada model bahasa asas. Cara mengeksploitasi ini ialah topik utama dalam pembelajaran mesin umum. Sebagai contoh, setelah ruang semantik diselaraskan dengan media lain (seperti foto, video dan bunyi) atau bentuk lain data tingkah laku manusia dan mesin (seperti trajektori/tindakan robot), kita boleh mendapatkan keupayaan tafsiran semantik untuk mereka tanpa kos tambahan. Dengan cara ini, pembelajaran mesin (ramalan, penjanaan dan membuat keputusan) menjadi umum dan boleh diurai. Walau bagaimanapun, pengendalian penjajaran rentas modal merupakan kesukaran yang ketara yang kami hadapi kerana menganotasi perhubungan memerlukan tenaga kerja. Tambahan pula, penyelarasan nilai kemanusiaan menjadi sukar apabila banyak pihak yang berkepentingan berkonflik.

Kelemahan asas ChatGPT ialah ia hanya boleh berkomunikasi secara langsung dengan manusia. Walau bagaimanapun, sebaik sahaja penjajaran yang mencukupi dengan dunia luar diwujudkan, model bahasa asas seharusnya dapat mempelajari cara berinteraksi dengan pelbagai jenis aktor dan persekitaran. Ini penting kerana ia akan memberikan keupayaan penaakulan dan semantik berasaskan bahasa aplikasi dan keupayaan yang lebih luas daripada sekadar mengadakan perbualan. Contohnya, ia boleh dibangunkan menjadi ejen universal (ejen) yang mampu menyemak imbas Internet, mengawal komputer dan memanipulasi robot. Oleh itu, adalah lebih penting untuk melaksanakan prosedur yang memastikan bahawa respons ejen (ejen) (biasanya dalam bentuk tindakan yang dijana) adalah selamat, boleh dipercayai, tidak berat sebelah dan boleh dipercayai.

Rajah 2 menunjukkan contoh AIGA berinteraksi dengan enjin permainan untuk mengautomasikan proses mereka bentuk permainan video.

4 Teori interaksi pelbagai ejen dengan model bahasa asas

ChatGPT menggunakan pembelajaran konteks dan kejuruteraan petunjuk untuk Pandu berbilang pusingan perbualan dengan seseorang dalam satu sesi, iaitu diberi soalan atau gesaan, keseluruhan perbualan sebelumnya (soal jawab) dihantar ke sistem sebagai konteks tambahan untuk membina respons. Ini ialah model Proses Keputusan Markov (MDP) yang dipacu perbualan ringkas:

{status = konteks, tindakan = respons, ganjaran = penilaian suka/tidak suka}.

Walaupun berkesan, strategi ini mempunyai kelemahan berikut: Pertama, gesaan hanya memberikan penerangan tentang respons pengguna, tetapi niat sebenar pengguna mungkin tidak dinyatakan secara eksplisit dan mesti disimpulkan. Mungkin model yang berkuasa, seperti Proses Keputusan Markov Boleh Diperhatikan Separa (POMDP) ​​yang dicadangkan sebelum ini untuk bot perbualan, boleh memodelkan niat pengguna tersembunyi dengan tepat.

Kedua, ChatGPT dahulu menyasarkan penjanaan bahasa yang sesuai menggunakan penyesuaian bahasa untuk latihan, dan kemudian Latihan/ penalaan halus objektif perbualan menggunakan label manusia. Disebabkan sifat terbuka platform, matlamat dan objektif pengguna sebenar mungkin tidak sejajar dengan ganjaran latihan/penalaan halus. Untuk mengkaji keseimbangan dan konflik kepentingan antara manusia dan ejen 〈🎜〉 (ejen pintar) 〈🎜〉 mungkin berbaloi untuk menggunakan perspektif teori permainan.

5 Aplikasi Baharu

Seperti yang ditunjukkan oleh ChatGPT, kami percaya bahawa model bahasa asas mempunyai dua ciri unik. , mereka akan menjadi penggerak untuk pembelajaran mesin masa hadapan dan aplikasi model bahasa asas. Yang pertama ialah kemahiran bahasanya yang unggul, manakala yang kedua ialah kebolehan penaakulan semantik dan awal yang tertanam (dalam bentuk bahasa manusia). Sebagai antara muka, yang pertama akan mengurangkan halangan kemasukan untuk menggunakan pembelajaran mesin, manakala yang kedua akan menggalakkan skop aplikasi pembelajaran mesin dengan ketara.

Seperti yang ditunjukkan dalam proses pembelajaran baharu yang diperkenalkan dalam Bahagian 1, gesaan dan pembelajaran kontekstual menghapuskan kesesakan kejuruteraan data dan usaha yang diperlukan untuk membina dan melatih model. Selain itu, memanfaatkan keupayaan penaakulan membolehkan kami memecahkan dan menyelesaikan setiap sub-tugas tugasan yang sukar secara automatik. Oleh itu, ia akan mengubah banyak industri dan kawasan aplikasi dengan ketara. Dalam perusahaan Internet, antara muka berasaskan perbualan ialah aplikasi yang jelas untuk carian web dan mudah alih, sistem pengesyoran dan pengiklanan. Walau bagaimanapun, oleh kerana kami terbiasa dengan sistem carian indeks terbalik URL berasaskan kata kunci, perubahan tidak mudah. Orang ramai perlu diajar semula untuk menggunakan pertanyaan yang lebih panjang dan bahasa semula jadi sebagai pertanyaan. Tambahan pula, model bahasa asas selalunya tegar dan tidak fleksibel. Mereka kekurangan maklumat semasa tentang peristiwa terkini. Mereka sering mencipta fakta dan tidak menyediakan keupayaan mendapatkan semula dan pengesahan. Oleh itu, kami memerlukan model asas segera yang boleh berkembang secara dinamik dari semasa ke semasa.

Oleh itu, kami menyeru pembangunan aplikasi baharu, termasuk tetapi tidak terhad kepada bidang berikut:

• InovasiNovel sokongan kejuruteraan, proses dan perisian segera.
Carian, pengesyoran dan penjanaan iklan berasaskan model; model perniagaan baharu untuk pengiklanan perbualan.
Teknologi untuk perkhidmatan IT berasaskan perbualan, sistem perisian, komunikasi tanpa wayar (sistem pemesejan diperibadikan) dan sistem perkhidmatan pelanggan.
Jana Automasi Proses Robotik (RPA) dan ujian dan pengesahan perisian daripada model bahasa asas.
pengaturcaraan berbantukan AI.
Alat penjanaan kandungan baharu untuk industri kreatif.
Mengintegrasikan model bahasa dengan
• Penyelidikan OperasiPenyelidikan Operasi , kecerdasan perusahaan dan pengoptimuman disatukan.
Satu cara untuk menyediakan model asas yang besar dalam pengkomputeran awan dengan cekap dan kos efektif.
Untuk pembelajaran pengukuhan, pembelajaran pelbagai agen dan
• kecerdasan buatanmembuat keputusan yang lain Bangunkan model asas domain .
Robotik berbantukan bahasa.
Model dan inferens asas untuk pengoptimuman gabungan,
• Automasi Reka Bentuk Elektronik (EDA) dan reka bentuk cip.

Mengenai pengarang

Wang Jun, profesor Sains Komputer di University College London (UCL), pengasas bersama dan dekan Shanghai Digital Brain Institute, terutamanya menyelidik kecerdasan membuat keputusan dan model besar, termasuk pembelajaran mesin, pembelajaran pengukuhan dan berbilang ejen , perlombongan data, pengiklanan pengiraan, sistem pengesyoran, dsb. Beliau telah menerbitkan lebih daripada 200 kertas akademik dan dua monograf akademik, memenangi pelbagai anugerah kertas terbaik, dan mengetuai pasukan untuk membangunkan model membuat keputusan berbilang ejen pertama di dunia dan model membuat keputusan berbilang modal peringkat pertama di dunia.

Lampiran:

Seruan untuk Inovasi: Post-ChatGPT Teori Kepintaran Am Buatan dan Aplikasinya

CtGPT baru-baru ini menarik perhatian komuniti penyelidikan, sektor komersial dan orang awam. Ia adalah bot sembang generik yang boleh membalas gesaan atau soalan terbuka daripada pengguna dengan kemahiran bahasanya yang unggul dan seperti manusia yang menyampaikan respons yang koheren, konsisten dan tersusun dengan baik Interaksi dialog berbilang gilirannya menyokong pelbagai tugas berasaskan teks dan kod, termasuk penciptaan novel, gubahan huruf, permainan tekstual dan juga. manipulasi robot melalui penjanaan kod, terima kasih kepada model bahasa generatif yang besar yang telah dilatih Ini memberikan kepercayaan umum bahawa pembelajaran mesin dan pemahaman mesin secara umum boleh dicapai tidak lama lagi menggali lebih dalam, mereka mungkin mendapati bahawa apabila kod pengaturcaraan ditambah sebagai data latihan, kebolehan penaakulan tertentu, pemahaman akal, dan juga rantaian pemikiran (satu siri langkah penaakulan pertengahan) mungkin kelihatan sebagai kebolehan yang muncul [1] apabila model mencapai sesuatu tertentu. Walaupun penemuan baharu itu menarik dan membuka kemungkinan baharu untuk penyelidikan dan aplikasi AI, ia, bagaimanapun, menimbulkan lebih banyak persoalan daripada yang dapat diselesaikan, contohnya, boleh berfungsi sebagai penunjuk awal kecerdasan yang lebih tinggi, atau adakah mereka hanya meniru naif tingkah laku manusia yang disembunyikan oleh data? Adakah meneruskan pengembangan model yang sudah sangat besar akan membawa kepada kelahiran kecerdasan am buatan (AGI), atau adakah model ini hanya secara cetek dengan keupayaan terhad, jika dijawab, soalan ini boleh membawa kepada asas? perubahan dalam teori dan aplikasi kecerdasan buatan

Oleh itu, kami menggesa bukan sahaja mereplikasi kejayaan ChatGPT tetapi yang paling penting, memajukan penyelidikan terobosan dan pembangunan aplikasi baru dalam bidang kecerdasan buatan berikut ( sama sekali bukan senarai yang lengkap):

1.Teori pembelajaran mesin baharu yang melampaui paradigma pembelajaran mesin khusus tugasan yang ditetapkan

Penaakulan induktif ialah sejenis penaakulan di mana kita membuat kesimpulan tentang dunia berdasarkan pemerhatian lepas boleh dianggap secara longgar sebagai penaakulan induktif dalam erti kata ia memanfaatkan data (latihan) lalu untuk meningkatkan prestasi pada. tugas baharu. Mengambil terjemahan mesin sebagai contoh, saluran paip pembelajaran mesin biasa melibatkan empat langkah utama berikut:

1.takrifkan masalah khusus, cth., menterjemah ayat bahasa Inggeris ke bahasa Cina: E →C,

2.kumpul data, cth., pasangan ayat { E→C },

3.latih model, cth. , rangkaian saraf dalam dengan input {E} dan output {C},

4.gunakan model pada titik data yang tidak kelihatan, cth., masukkan ayat bahasa Inggeris baharu E' dan output terjemahan bahasa Cina C' dan menilai hasilnya.

Seperti yang ditunjukkan di atas, pembelajaran mesin tradisional mengasingkan latihan untuk setiap tugasan tertentu, oleh itu, untuk setiap tugasan baharu, seseorang mesti menetapkan semula dan membuat semula proses dari langkah 1 hingga langkah 4, kehilangan semua pengetahuan yang diperoleh (data, model, dsb.) daripada tugasan sebelumnya >

Di bawah paradigma ini, tugas ahli teori pembelajaran mesin tertumpu terutamanya pada pemahaman keupayaan generalisasi model pembelajaran daripada data latihan kepada data ujian yang tidak kelihatan [2, 3]. Sebagai contoh, soalan biasa ialah berapa banyak sampel yang kita perlukan dalam latihan untuk mencapai ralat tertentu dalam meramal data ujian yang tidak kelihatan. Kita tahu bahawa bias induktif (iaitu pengetahuan terdahulu atau andaian terdahulu) diperlukan untuk model pembelajaran meramalkan output yang belum ditemuinya. Ini kerana nilai output dalam keadaan yang tidak diketahui adalah sewenang-wenangnya, menjadikannya mustahil untuk menangani masalah tanpa membuat andaian tertentu. Teorem tanpa makan tengah hari yang terkenal [5] selanjutnya mengatakan bahawa sebarang bias induktif mempunyai had; ia hanya sesuai untuk kumpulan masalah tertentu, dan ia mungkin gagal di tempat lain jika pengetahuan terdahulu yang diandaikan tidak betul. 

Rajah 1 Tangkapan skrin ChatGPT yang digunakan untuk terjemahan mesin. Gesaan mengandungi arahan sahaja, dan tiada contoh tunjuk cara diperlukan.

Walaupun teori di atas masih berlaku, kedatangan model bahasa asas mungkin telah mengubah pendekatan kami terhadap pembelajaran mesin. Saluran paip pembelajaran mesin baharu mungkin seperti berikut (menggunakan masalah terjemahan mesin yang sama seperti contoh; lihat Rajah 1): 

1.Akses API kepada model bahasa asas yang dilatih di tempat lain oleh orang lain , cth., model yang dilatih dengan pelbagai dokumen, termasuk paring corpus bahasa Inggeris/Cina, 

2.dengan beberapa contoh atau tiada contoh langsung, reka bentuk penerangan teks yang sesuai (dikenali sebagai gesaan) untuk tugasan di tangan, cth., Prompt = {beberapa contoh E→C },

3.dikondisikan pada gesaan dan titik data ujian baharu yang diberikan, bahasa model menjana jawapan, cth., tambahkan E' pada gesaan dan jana C' daripada model,

4.tafsirkan jawapan sebagai hasil yang diramalkan.

Seperti yang ditunjukkan dalam langkah 1, model bahasa asas berfungsi sebagai repositori pengetahuan satu saiz untuk semua. Gesaan (dan konteks) yang dibentangkan dalam langkah 2 membenarkan model bahasa asas disesuaikan dengan matlamat atau masalah tertentu dengan hanya beberapa contoh demonstrasi. Walaupun saluran paip yang dinyatakan di atas adalah terhad terutamanya kepada masalah berasaskan teks, adalah munasabah untuk mengandaikan bahawa, memandangkan pembangunan model pra-latihan asas (lihat Bahagian 3) asas berterusan, ia akan menjadi standard untuk pembelajaran mesin secara umum. Ini boleh memecahkan halangan tugas yang diperlukan untuk membuka jalan kepada AGI. 

Tetapi, ia masih awal dalam proses menentukan cara contoh tunjuk cara dalam teks segera beroperasi. Secara empirik, kami kini memahami, daripada beberapa kerja awal [2],  bahawa format sampel demonstrasi adalah lebih penting daripada ketepatan label (contohnya, seperti yang digambarkan dalam Rajah 1, kami tidak perlu menyediakan contoh terjemahan tetapi diperlukan untuk menyediakan pengajaran bahasa), tetapi adakah terdapat sebarang had teori untuk penyesuaiannya seperti yang dinyatakan dalam teorem tanpa makan tengah hari? Bolehkah konteks dan pengetahuan berasaskan arahan yang dinyatakan dalam gesaan (langkah 2) disepadukan ke dalam model untuk kegunaan masa hadapan? Kami hanya menconteng permukaan dengan pertanyaan ini. Oleh itu, kami menyeru pemahaman baharu dan prinsip baharu di sebalik bentuk pembelajaran dalam konteks baharu ini dan batasan dan sifat teorinya, seperti sempadan generalisasi. 

Rajah 2 Ilustrasi AIGA untuk mereka bentuk permainan komputer.

2.Membangunkan kemahiran menaakul

Kami berada di ambang era yang menarik di mana semua data linguistik dan tingkah laku kami boleh dilombong untuk melatih (dan diserap oleh) model berkomputer yang besar. Ia adalah satu pencapaian yang luar biasa kerana keseluruhan pengalaman dan tamadun kolektif kita boleh dicernakan ke dalam satu pangkalan pengetahuan (tersembunyi) (dalam bentuk rangkaian saraf tiruan) untuk kegunaan kemudian. Malah, ChatGPT dan model asas yang besar dikatakan menunjukkan beberapa bentuk kapasiti penaakulan. Mereka juga boleh dikatakan memahami keadaan mental orang lain sedikit sebanyak (teori fikiran) [6]. Ini dicapai dengan pemadanan data (meramalkan token bahasa bertopeng sebagai isyarat latihan) dan peniruan (tingkah laku manusia). Namun, masih boleh dipertikaikan jika strategi yang didorong sepenuhnya oleh data ini akan membawa kepada kita kecerdasan yang lebih besar. 

Untuk menggambarkan tanggapan ini, pertimbangkan untuk mengarahkan ejen cara bermain catur sebagai contoh. Walaupun ejen mempunyai akses kepada jumlah data permainan manusia yang tidak terhad, ia akan menjadi sangat sukar untuknya, dengan hanya meniru dasar sedia ada, untuk menjana dasar baharu yang lebih optimum daripada dasar yang sedia ada dalam data. Menggunakan data, seseorang boleh, walau bagaimanapun, membangunkan pemahaman tentang dunia (cth., peraturan permainan) dan menggunakannya untuk "berfikir" (membina simulator dalam otaknya untuk mengumpul maklum balas untuk mencipta dasar yang lebih optimum). Ini menyerlahkan kepentingan bias induktif; daripada kekerasan yang mudah, ejen pembelajaran dituntut untuk mempunyai beberapa model dunia dan membuat kesimpulan daripada data untuk memperbaiki dirinya.  

Oleh itu, terdapat keperluan mendesak untuk menyiasat secara menyeluruh dan memahami keupayaan model asas yang muncul. Selain daripada kemahiran bahasa, kami menyokong penyelidikan untuk memperoleh keupayaan penaakulan sebenar dengan menyiasat mekanisme asas [9].  Satu pendekatan yang menjanjikan ialah mendapatkan inspirasi daripada sains saraf dan sains otak untuk menguraikan mekanik penaakulan manusia dan pembangunan model bahasa yang lebih maju. Pada masa yang sama, membina teori minda yang kukuh mungkin juga memerlukan pengetahuan mendalam tentang pembelajaran multiagen [10,11] dan prinsip asasnya. 

3. Daripada AI Generating Content (AIGC) kepada AI Generating Action (AIGA)

Semantik tersirat yang dibangunkan selain bahasa manusia adalah penting kepada model bahasa asas. Cara menggunakannya ialah topik penting untuk pembelajaran mesin generalis. Sebagai contoh, sebaik sahaja ruang semantik diselaraskan dengan media lain (seperti foto, video dan bunyi) atau bentuk data lain daripada gelagat manusia dan mesin, seperti trajektori/tindakan robotik, kami memperoleh kuasa tafsiran semantik untuk mereka tanpa tambahan kos [7, 14]. Dengan cara ini, pembelajaran mesin (ramalan, penjanaan dan membuat keputusan) akan menjadi generik dan boleh reput. Namun, menangani penjajaran rentas modaliti merupakan halangan besar bagi kami kerana sifat intensif buruh dalam melabelkan perhubungan. Selain itu, penjajaran nilai manusia menjadi sukar apabila banyak pihak mempunyai kepentingan yang bercanggah. 

Kelemahan asas ChatGPT ialah ia boleh berkomunikasi secara langsung dengan manusia sahaja. Namun, sebaik sahaja penjajaran yang mencukupi dengan dunia luar telah diwujudkan, model bahasa asas seharusnya dapat belajar bagaimana untuk berinteraksi dengan pelbagai pihak dan persekitaran [7, 14]. Ini penting kerana ia akan memberikan kuasanya pada keupayaan penaakulan dan semantik berdasarkan bahasa untuk aplikasi dan keupayaan yang lebih luas di luar perbualan. Sebagai contoh, ia mungkin berkembang menjadi agen generalis yang mampu menavigasi Internet [7], mengawal komputer [13], dan memanipulasi robot [12]. Oleh itu, adalah menjadi lebih penting untuk melaksanakan prosedur yang memastikan respons daripada ejen (selalunya dalam bentuk tindakan yang dihasilkan) adalah selamat, boleh dipercayai, tidak berat sebelah dan boleh dipercayai. 

Rajah 2 menyediakan demonstrasi AIGA [7] untuk berinteraksi dengan enjin permainan untuk mengautomasikan proses mereka bentuk permainan video. 

4.Teori multiagen interaksi dengan model bahasa asas

ChatGPT menggunakan pembelajaran dalam konteks dan kejuruteraan segera untuk memacu dialog berbilang pusingan dengan orang dalam satu sesi, iaitu, diberi soalan atau gesaan, keseluruhan perbualan sebelumnya (soalan dan respons) dihantar ke sistem sebagai konteks tambahan untuk membina respons. Ia adalah model proses keputusan Markov (MDP) yang mudah untuk perbualan: 

{State = context, Action = response, Reward = thumbs up/down rating}. 

Walaupun berkesan, strategi ini mempunyai kelemahan berikut: pertama, gesaan hanya memberikan penerangan tentang respons pengguna, tetapi niat tulen pengguna mungkin tidak dinyatakan secara eksplisit dan mesti disimpulkan. Mungkin model yang teguh, seperti yang dicadangkan sebelum ini untuk bot perbualan, akan menjadi proses keputusan Markov (POMDP) ​​yang boleh diperhatikan yang secara tepat memodelkan niat pengguna tersembunyi. 

Kedua, ChatGPT mula-mula dilatih menggunakan kecergasan bahasa dan kemudian label manusia untuk matlamat perbualan. Disebabkan sifat terbuka platform, matlamat dan objektif pengguna sebenar mungkin tidak sejajar dengan ganjaran terlatih/ditala. Untuk mengkaji keseimbangan dan konflik kepentingan manusia dan ejen, mungkin berbaloi untuk menggunakan perspektif teori permainan [9]. 

5.Aplikasi novel

Seperti yang dibuktikan oleh ChatGPT, terdapat dua ciri tersendiri model bahasa asas yang kami percaya akan menjadi penggerak di sebalik pembelajaran mesin dan aplikasi model bahasa asas pada masa hadapan. Yang pertama ialah kemahiran linguistiknya yang unggul, manakala yang kedua ialah semantik tertanam dan kebolehan penaakulan awal (dalam bentuk bahasa manusia). Sebagai antara muka, yang pertama akan mengurangkan halangan kemasukan kepada pembelajaran mesin terpakai, manakala yang kedua akan secara signifikan menyamaratakan cara pembelajaran mesin digunakan. 

Seperti yang ditunjukkan dalam saluran pembelajaran baharu yang dibentangkan dalam Bahagian 1, gesaan dan pembelajaran dalam konteks menghapuskan kesesakan kejuruteraan data dan usaha yang diperlukan untuk membina dan melatih model. Selain itu, mengeksploitasi keupayaan penaakulan boleh membolehkan kami membedah dan menyelesaikan setiap subtugas tugasan yang sukar secara automatik. Oleh itu, ia akan mengubah banyak industri dan sektor aplikasi secara mendadak. Dalam perusahaan berasaskan internet, antara muka berasaskan dialog ialah aplikasi yang jelas untuk carian web dan mudah alih, sistem pengesyor dan pengiklanan. Namun, kerana kami sudah terbiasa dengan sistem carian indeks terbalik URL berasaskan kata kunci, perubahan itu tidak mudah. Orang ramai mesti diajar semula untuk menggunakan pertanyaan yang lebih panjang dan bahasa semula jadi sebagai pertanyaan. Di samping itu, model bahasa asas biasanya tegar dan tidak fleksibel. Ia tidak mempunyai akses kepada maklumat semasa mengenai peristiwa terkini. Mereka biasanya berhalusinasi fakta dan tidak menyediakan keupayaan mendapatkan semula dan pengesahan. Oleh itu, kita memerlukan model asas tepat dalam masa yang mampu menjalani evolusi dinamik dari semasa ke semasa. 

Oleh itu, kami menyeru permohonan baharu termasuk tetapi tidak terhad kepada kawasan berikut: 

• Kejuruteraan pantas novel, prosedurnya dan sokongan perisian.
• Carian, pengesyoran dan pengiklanan web berasaskan model dan generatif; model perniagaan baru untuk iklan perbualan.
• Teknik untuk perkhidmatan IT berasaskan dialog, sistem perisian, komunikasi tanpa wayar (sistem pemesejan diperibadikan) dan sistem perkhidmatan pelanggan.
• Penjanaan automasi daripada model bahasa asas untuk automasi proses Robotik (RPA) serta ujian dan pengesahan perisian.
• pengaturcaraan berbantukan AI.
• Alat penjanaan kandungan novel untuk industri kreatif.
• Menyatukan model bahasa dengan penyelidikan operasi dan kecerdasan perusahaan dan pengoptimuman.
• Cekap dan kos- kaedah yang berkesan untuk menyediakan model asas yang besar dalam pengkomputeran Awan. 
• Model asas untuk pembelajaran pengukuhan dan pembelajaran berbilang agen dan, domain membuat keputusan lain.
• Robotik berbantukan bahasa.
• Model asas dan alasan untuk pengoptimuman gabungan, EDA dan reka bentuk cip.

Atas ialah kandungan terperinci "Seruan untuk inovasi: UCL Wang Jun membincangkan teori dan prospek aplikasi kecerdasan buatan umum ChatGPT". Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!