Kertas hangat mencipta prototaip "Westworld": 25 ejen AI berkembang dengan bebas di bandar maya

Bolehkah kita mencipta dunia? Di dunia itu, robot boleh hidup, bekerja, dan bersosial seperti manusia, mereplikasi semua aspek masyarakat manusia.

Imaginasi seperti ini telah dipulihkan dengan sempurna dalam latar filem dan karya televisyen "Westworld": banyak robot dengan jalan cerita yang telah dipasang telah dimasukkan ke dalam taman tema, Mereka boleh berkelakuan seperti manusia, mengingati perkara yang mereka lihat, orang yang mereka temui, dan kata-kata yang mereka ucapkan. Setiap hari, bot ditetapkan semula dan dikembalikan ke jalan cerita teras mereka.

Masih dari "Westworld", watak di sebelah kiri ialah robot yang telah dipasang dengan jalan cerita.

Kembangkan imaginasi anda: hari ini, apakah yang akan kita lakukan jika kita mahu menjadikan model bahasa besar seperti ChatGPT menjadi penguasa Dunia Barat?

Dalam kertas kerja yang popular baru-baru ini, penyelidik berjaya membina "bandar maya" di mana 25 ejen AI tinggal di bandar itu, mereka bukan sahaja dapat Terlibat dalam tingkah laku yang kompleks (seperti hosting a Pesta Hari Valentine) yang lebih realistik daripada main peranan manusia.

• Pautan kertas: https://arxiv.org/pdf/2304.03442v1.pdf
• Alamat demo: https://reverie.herokuapp.com/arXiv_Demo/

Daripada permainan kotak pasir seperti "The Sims" kepada model kognitif , persekitaran maya dan aplikasi lain, selama lebih daripada 40 tahun, penyelidik telah membayangkan penciptaan ejen pintar yang boleh mencapai tingkah laku manusia yang boleh dipercayai. Dalam senario ini, ejen yang didorong oleh pengiraan berkelakuan secara konsisten dengan pengalaman masa lalu mereka dan bertindak balas dengan baik terhadap persekitaran mereka. Simulasi tingkah laku manusia ini boleh mengisi ruang maya dan komuniti dengan fenomena sosial sebenar, melatih "orang" untuk menangani hubungan interpersonal yang jarang tetapi sukar, menguji teori sains sosial, menghasilkan model pemproses manusia untuk ujian teori dan kebolehgunaan, dan menyediakan aplikasi pengkomputeran di mana-mana dan dinamik robot sosial juga boleh meletakkan asas bagi watak NPC untuk mengemudi hubungan manusia yang kompleks di dunia terbuka.

Tetapi ruang tingkah laku manusia adalah besar dan kompleks. Walaupun model bahasa yang besar boleh mensimulasikan tingkah laku manusia yang boleh dipercayai pada satu-satu masa, untuk memastikan konsistensi jangka panjang, ejen tujuan umum memerlukan seni bina untuk mengurus ingatan yang semakin meningkat apabila interaksi, konflik dan peristiwa baharu berlaku dari semasa ke semasa dan muncul pudar, sementara juga menangani dinamik sosial yang melata yang berlaku antara pelbagai ejen.

Jika kaedah boleh mendapatkan semula peristiwa dan interaksi yang berkaitan dalam jangka masa yang panjang, renungkan kenangan ini, dan umumkan serta lukis inferens tahap yang lebih tinggi, dan gunakan ini Jika kita menggunakan jenis ini. menaakul untuk membuat rancangan dan tindak balas yang bermakna kepada tingkah laku ejen semasa dan jangka panjang, maka kita tidak jauh dari merealisasikan impian kita. | tingkah laku individu dan kumpulan yang timbul:

Keupayaan untuk membuat kesimpulan yang luas tentang diri sendiri, agen lain dan persekitaran

• Kebolehan untuk mencipta rancangan harian yang mencerminkan ciri dan pengalaman sendiri, melaksanakan rancangan ini, bertindak balas, dan merancang semula apabila sesuai apabila bahasa memerintahkannya.
• Di sebalik "Ejen Generatif" ialah seni bina ejen baharu yang boleh menyimpan, mensintesis dan menggunakan ingatan berkaitan menggunakan bahasa besar Model menjana tingkah laku yang boleh dipercayai .

Sebagai contoh, "Ejen Generatif" akan mematikan dapur jika mereka melihat sarapan pagi mereka terbakar; akan berhenti Turun dan bersembang. Masyarakat yang penuh dengan "Agen Generatif" ditandai dengan dinamik sosial yang muncul, di mana hubungan baru terbentuk, maklumat disebarkan, dan penyelarasan berlaku di kalangan ejen.

Secara khusus, penyelidik mengumumkan beberapa butiran penting dalam kertas kerja ini:

• Agen Generatif, ialah A simulasi yang boleh dipercayai bagi tingkah laku manusia yang melaraskan secara dinamik berdasarkan pengalaman dan persekitaran ejen yang berubah-ubah; persekitaran yang berkembang. Seni bina memanfaatkan keupayaan pantas model bahasa yang besar dan melengkapkan keupayaan ini untuk menyokong konsistensi jangka panjang ejen, keupayaan ingatan untuk mengurus evolusi dinamik, dan secara rekursif melahirkan lebih banyak generasi
• Dua penilaian (penilaian kawalan dan penilaian hujung ke hujung) untuk menentukan hubungan sebab dan akibat kepentingan pelbagai komponen seni bina, dan untuk mengenal pasti kegagalan disebabkan oleh sebab seperti pengambilan semula memori yang tidak betul; >
Membincangkan peluang dan risiko etika dan sosial Agen Generatif dalam sistem interaktif. Para penyelidik percaya ejen ini harus ditala untuk mengurangkan risiko pengguna membentuk hubungan sosial parasit, didokumenkan untuk mengurangkan risiko yang ditimbulkan oleh deepfakes dan pujukan tersuai, dan direka untuk melengkapi dan bukannya menggantikan kepentingan manusia dengan cara yang berbeza.
• Sebaik sahaja artikel itu diterbitkan, ia membangkitkan perbincangan hangat di seluruh Internet. Karpathy yang sudah optimis dengan hala tuju "AutoGPT" berulang kali memuji dan percaya bahawa "Agen Generatif" tidak sedikit lebih baik daripada "Open World" yang dimainkannya dengan konsep sebelum ini:

Untuk menjadikan "Agen Generatif" lebih konkrit, kajian itu menjadikan mereka sebagai watak dalam dunia kotak pasir.

25 ejen tinggal di sebuah bandar bernama Smallville, masing-masing diwakili oleh avatar ringkas. Semua watak boleh:

berkomunikasi dengan orang lain dan persekitaran; >

Renungkan pemerhatian ini;
Buat rancangan harian.
• Para penyelidik menggunakan bahasa semula jadi untuk menggambarkan identiti setiap ejen, termasuk pekerjaan dan hubungan mereka dengan ejen lain, Dan menggunakan maklumat ini sebagai ingatan benih. Sebagai contoh, ejen John Lin mempunyai penerangan berikut (artikel ini memetik perenggan):
• "John Lin ialah pemilik kedai ubat yang bersedia membantu orang lain. Dia sentiasa mencari cara untuk membuat pelanggan lebih Cara mudah untuk mendapatkan ubat Isteri John Lin adalah profesor universiti Mei Lin, dan mereka tinggal bersama-sama dengan anak mereka Eddy Lin, yang belajar teori muzik John Lin telah mengenali pasangan lama; sebelah, Sam Moore dan Jennifer Moore selama beberapa tahun..."
• Selepas identiti ditetapkan, langkah seterusnya ialah bagaimana ejen pintar itu berinteraksi dengan dunia.
• Dalam setiap langkah kotak pasir, ejen mengeluarkan pernyataan bahasa semula jadi untuk menerangkan tindakan semasa mereka, seperti pernyataan "Isabella Rodriguez sedang menulis diari", "Isabella Rodriguez Menyemak mel " dll. Bahasa semula jadi ini kemudiannya diterjemahkan ke dalam tindakan konkrit yang mempengaruhi dunia kotak pasir. Tindakan dipaparkan pada antara muka kotak pasir sebagai satu set emoji yang memberikan gambaran abstrak tindakan tersebut.

Untuk mencapai matlamat ini, penyelidikan menggunakan model bahasa yang menukar tindakan kepada satu set emoji yang muncul dalam kotak dialog di atas setiap avatar ejen. Contohnya, "Isabella Rodriguez sedang menulis dalam diarinya" muncul sebagai , dan "Isabella Rodriguez sedang menyemak e-mel" muncul sebagai . Selain itu, penerangan bahasa semula jadi penuh boleh diakses dengan mengklik pada avatar ejen.

Ejen berkomunikasi dalam bahasa semula jadi Jika ejen menyedari bahawa terdapat ejen lain di sekeliling mereka, mereka akan mempertimbangkan sama ada untuk pergi dan bersembang. Contohnya, Isabella Rodriguez dan Tom Moreno berbual tentang pilihan raya yang akan datang:



Di samping itu, pengguna juga boleh menentukan peranan yang ejen bermain, Sebagai contoh, jika anda menetapkan salah seorang ejen sebagai wartawan, anda boleh berunding dengan ejen untuk kandungan berita.

Interaksi antara ejen dan persekitaran

Smallville mempunyai banyak adegan awam, termasuk kafe, bar, taman, sekolah, asrama, Rumah dan kedai-kedai. Selain itu, setiap adegan awam juga merangkumi fungsi dan objeknya sendiri, seperti dapur di dalam rumah dan dapur di dapur (Rajah 2). Terdapat juga katil, meja, almari pakaian, rak, bilik mandi dan dapur di ruang tamu ejen pintar itu.



Ejen boleh bergerak di Smallville, memasuki atau meninggalkan bangunan, menavigasi ke hadapan dan juga mendekati ejen lain. Pergerakan ejen dikawal oleh seni bina Ejen Generatif dan enjin permainan kotak pasir: apabila model mengarahkan ejen berpindah ke lokasi tertentu, kajian mengira laluan berjalan kaki ke destinasinya dalam persekitaran Smallville, dan ejen mula bergerak.

Selain itu, pengguna dan ejen juga boleh menjejaskan keadaan objek lain di persekitaran Sebagai contoh, katil diduduki apabila ejen sedang tidur, dan peti sejuk mungkin diduduki apabila ejen telah selesai menggunakannya. Pengguna akhir juga boleh menulis semula persekitaran ejen melalui bahasa semula jadi. Sebagai contoh, pengguna menetapkan status pancuran mandian kepada bocor apabila Isabella memasuki bilik mandi, dan kemudian Isabella akan mencari alatan dari ruang tamu dan cuba menyelesaikan masalah kebocoran.

Sehari dalam hidup seorang ejen

Bermula dari penerangan, ejen mula merancang satu hari dalam hidup. Apabila masa berlalu dalam dunia kotak pasir, tingkah laku ejen secara beransur-ansur berubah apabila mereka berinteraksi antara satu sama lain, dunia, dan kenangan yang mereka cipta. Gambar di bawah menunjukkan satu hari dalam kehidupan pemilik kedai ubat John Lin.



Dalam keluarga ini, John Lin adalah orang pertama yang bangun pada pukul tujuh pagi, kemudian gosok gigi, mandi, berpakaian. , makan sarapan pagi, dan kemudian duduk di ruang tamu Melayari berita di meja makan. Pada pukul 8 pagi, Eddy anak John Lin turut bangun dan bersiap untuk ke kelas. Sebelum dia pergi, dia berbual dengan John, isi kandungannya ialah:



Tidak lama selepas Eddy pergi, ibunya Mei turut bangun, dan Mei bertanya kepada Son, John mengingati perbualan mereka baru sahaja, dan kemudian mengadakan perbualan berikut



Kemahiran sosial

Selain itu, "Agen Generatif" juga menunjukkan kemunculan tingkah laku sosial. Dengan berinteraksi antara satu sama lain, "Agen Generatif" bertukar maklumat dan membentuk hubungan baharu dalam persekitaran Smallville. Tingkah laku sosial ini adalah semula jadi dan tidak ditentukan terlebih dahulu. Contohnya, apabila ejen menyedari kehadiran pihak lain, perbualan mungkin berlaku dan maklumat perbualan boleh disebarkan antara ejen.

Mari kita lihat beberapa contoh:

Penyebaran maklumat. Apabila ejen menyedari satu sama lain, mereka mungkin terlibat dalam perbualan. Apabila melakukan ini, maklumat boleh disebarkan dari satu ejen ke yang lain. Contohnya, dalam perbualan Sam dan Tom di kedai runcit, Sam memberitahu Tom tentang pencalonannya dalam pilihan raya tempatan:





Lewat hari itu, selepas Sam pergi, Tom dan John, yang telah mendengar daripada sumber lain, membincangkan peluang Sam untuk memenangi pilihan raya:



Secara beransur-ansur, pencalonan Sam menjadi bualan ramai, dengan beberapa menyokongnya dan yang lain tidak pasti.

Memori perhubungan. Lama kelamaan, ejen di bandar membentuk hubungan baharu dan mengingati interaksi mereka dengan ejen lain. Sebagai contoh, Sam tidak mengenali Latoya Williams pada mulanya. Semasa berjalan di Taman Johnson, Sam bertemu dengan Latoya dan memperkenalkan diri mereka kepada satu sama lain menyebut bahawa dia sedang mengerjakan projek fotografi: "Saya di sini untuk mengambil gambar untuk projek yang sedang saya kerjakan, Sam dan Latoya Interaksi menunjukkan ingatan tentang peristiwa ini, dengan Sam bertanya: "Latoya, bagaimana projek anda berjalan?" Isabella Rodriguez, yang memiliki Kafe Hobbs, menganjurkan pesta Hari Valentine pada 14 Februari dari 5 hingga 7 malam. Daripada benih ini, Isabella Rodriguez akan menghulurkan jemputan apabila dia bertemu rakan dan pelanggan di Hobbs Cafe atau di tempat lain. Pada petang 13hb, Isabella mula menghias kafe. Maria, pelanggan tetap dan kawan rapat Isabella, datang ke kafe. Isabella meminta Maria untuk membantu menghias parti, dan Maria bersetuju. Perihalan watak Maria ialah dia sukakan Klaus. Malam itu, Maria menjemput orang yang disukainya, Klaus, ke pesta bersamanya, dan Klaus menerimanya dengan gembira.

Pada Hari Valentine, lima ejen, termasuk Klaus dan Maria, muncul di Kafe Hobbs pada pukul 5 petang untuk menikmati perayaan (Rajah 4). Dalam senario ini, pengguna akhir hanya menetapkan niat awal Isabella untuk menganjurkan parti dan ketertarikan Maria terhadap Klaus: tingkah laku sosial menyebarkan maklumat, menghias, meminta satu sama lain keluar, tiba di parti dan berinteraksi di parti itu dimulakan oleh seni bina ejen.

Seni Bina



Ejen Generatif memerlukan rangka kerja untuk membimbing tingkah laku mereka di dunia terbuka, direka bentuk untuk membolehkan Ejen Generatif berinteraksi dengan Ejen lain berinteraksi dan bertindak balas terhadap perubahan dalam persekitaran.

Ejen Generatif mengambil persekitaran semasa dan pengalaman lalu mereka sebagai input dan menjana tingkah laku sebagai output. Seni bina Agen Generatif menggabungkan model bahasa yang besar dengan mekanisme untuk mensintesis dan mendapatkan maklumat yang berkaitan untuk mengawal selia keluaran model bahasa.

Tanpa mekanisme sintesis dan perolehan semula, model bahasa yang besar boleh mengeluarkan gelagat, tetapi Agen Generatif mungkin tidak bertindak balas berdasarkan pengalaman lalu ejen, menjadikannya mustahil untuk membuat inferens penting dan mungkin tidak mampu mengekalkan kesepaduan jangka panjang. Walaupun dengan model berprestasi terbaik semasa (mis. GPT-4), cabaran dengan perancangan jangka panjang dan keselarasan kekal.

Oleh kerana Ejen Generatif menjana sejumlah besar peristiwa dan aliran memori yang mesti dikekalkan, cabaran teras dalam seni bina mereka adalah untuk memastikan item yang paling relevan dalam ingatan ejen diambil dan disintesis apabila diperlukan.

Pusat seni bina Ejen Generatif ialah aliran memori - pangkalan data yang merekodkan pengalaman ejen secara menyeluruh. Ejen mendapatkan semula rekod yang berkaitan daripada aliran ingatan untuk merancang tingkah laku tindakan ejen dan bertindak balas dengan sewajarnya kepada persekitaran, dan setiap tingkah laku direkodkan untuk mensintesis secara rekursif panduan tingkah laku peringkat lebih tinggi. Segala-galanya dalam seni bina Ejen Generatif direkodkan dan dihuraikan dalam bentuk huraian bahasa semula jadi, membolehkan ejen memanfaatkan keupayaan penaakulan model bahasa yang besar.

Pada masa ini, penyelidikan ini melaksanakan versi gpt3.5-turbo menggunakan ChatGPT. Pasukan penyelidik menjangkakan bahawa asas seni bina Agen Generatif—ingatan, perancangan dan refleksi—kemungkinan kekal tidak berubah. Model bahasa yang lebih baharu (seperti GPT-4) mempunyai ekspresi dan prestasi yang lebih baik, yang akan mengembangkan lagi Agen Generatif.

Memori dan Dapatkan semula

Senibina Agen Generatif melaksanakan fungsi mendapatkan semula yang menggabungkan situasi semasa ejen sebagai input dan mengembalikan subset aliran memori untuk dihantar ke model bahasa. Terdapat banyak kemungkinan pelaksanaan fungsi perolehan semula, bergantung pada faktor yang penting kepada ejen dalam memutuskan cara bertindak.

Refleksi

Kajian itu juga memperkenalkan jenis memori kedua, yang dipanggil "refleksi." Refleksi adalah pemikiran peringkat lebih tinggi, lebih abstrak yang dihasilkan oleh ejen. Refleksi berlaku secara berkala Dalam kajian ini, ejen hanya akan mula membuat refleksi apabila jumlah markah kepentingannya untuk peristiwa terkini melebihi ambang tertentu.



Malah, Agen Generatif yang dicadangkan dalam kajian mencerminkan kira-kira dua hingga tiga kali hari. Langkah pertama dalam refleksi adalah untuk ejen menentukan perkara yang perlu difikirkan dengan mengenal pasti soalan yang boleh ditanya berdasarkan pengalaman baru-baru ini ejen.

Perancangan dan Tindak Balas

Perancangan digunakan untuk menerangkan urutan tindakan masa depan ejen dan untuk membantu ejen mengekalkan tingkah lakunya dari semasa ke semasa konsisten. Pelan itu hendaklah termasuk lokasi, masa mula dan tempoh.

Untuk mencipta pelan yang munasabah, Ejen Generatif akan menjana lebih banyak butiran secara rekursif dari atas ke bawah. Langkah pertama ialah membuat rancangan yang menggariskan secara kasar "jadual" anda untuk hari itu. Untuk membuat rancangan awal, kajian mendorong model bahasa dengan penerangan umum ejen (cth., nama, ciri, ringkasan pengalaman terkini mereka, dsb.).

Dalam proses melaksanakan perancangan, Agen Generatif merasakan persekitaran sekeliling dan pemerhatian yang dirasakan disimpan dalam aliran ingatan mereka. Kajian menggunakan pemerhatian ini untuk menggesa model bahasa untuk memutuskan sama ada ejen harus meneruskan rancangan semasa mereka atau bertindak balas secara berbeza.

Eksperimen dan Penilaian

Kajian ini menjalankan dua penilaian Agen Generatif: satu adalah penilaian terkawal untuk menguji sama ada ejen boleh menjana tingkah laku individu yang boleh dipercayai secara bebas; penilaian hujung ke hujung, di mana berbilang Ejen Generatif berinteraksi secara terbuka sepanjang dua hari masa permainan, untuk memahami kestabilan dan tingkah laku sosial ejen yang muncul.

Contohnya, Isabella merancang pesta Hari Valentine. Dia menyebarkan maklumat itu, dan pada penghujung simulasi, 12 watak tahu mengenainya. Tujuh daripada mereka "belum membuat keputusan" - tiga mempunyai rancangan lain, dan empat tidak menyatakan fikiran mereka, sama seperti bagaimana manusia bergaul.



Di peringkat penilaian teknikal, penyelidikan ini menggunakan bahasa semula jadi untuk "menemu bual" ejen untuk menilai pengekalan "personaliti", ingatan, dan perancangan , keupayaan untuk bertindak balas dan mencerminkan dengan tepat, dan menjalankan eksperimen ablasi. Keputusan eksperimen menunjukkan bahawa setiap komponen ini adalah penting untuk ejen melaksanakan tugas dengan baik.



Dalam penilaian percubaan, ralat yang paling biasa dilakukan oleh ejen termasuk:

• Ia gagal mendapatkan semula kenangan yang berkaitan; Reka dan ubah suai ingatan ejen;
• “Warisi” pertuturan atau tingkah laku yang terlalu formal daripada model bahasa.
Pembaca yang berminat boleh membaca teks asal kertas untuk mengetahui lebih lanjut tentang butiran penyelidikan.

Atas ialah kandungan terperinci Kertas hangat mencipta prototaip "Westworld": 25 ejen AI berkembang dengan bebas di bandar maya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!