AI menulis kodnya sendiri untuk membolehkan ejen berkembang! Model besar OpenAI rasanya seperti "pemikiran manusia"

Membuat masalah!

AI ​​"melihat" cara manusia menghantar kemas kini (komit) pada GitHub, dan kemudian meniru pengaturcara manusia untuk mengubah suai kod...

Akhirnya, AI ​​berjaya "dilatih" Sebuah robot pintar dilahirkan:

Bukan main-main, perkara ngeri seperti ini sebenarnya berlaku dalam kajian terbaru yang dikeluarkan oleh OpenAI …

Pada asalnya, perkara yang ingin diselesaikan oleh penyelidik ialah masalah pengaturcaraan genetik (GP)—membuat robot pintar belajar bergerak.

(GP ialah bidang khas dalam pengkomputeran evolusi. Ia bertujuan terutamanya untuk membina program secara automatik untuk menyelesaikan masalah secara bebas.)

Tetapi OpenAI mengambil pendekatan berbeza dan menggunakan bahasa berskala besarnya sendiri model (LLM) ) telah dimasukkan, dan hasilnya adalah "tidak pernah dijangka".

Pada masa lalu, dalam proses evolusi agen pintar, penyelidik manusia perlu mengambil bahagian dalam membuat beberapa pelarasan terperinci dan menentukan arah evolusi, supaya agen pintar itu boleh berkembang ke arah yang baik.

Semua tugas ini diuruskan oleh model besar Anda boleh belajar, menulis kod dan "mengajar" sendiri:

Ini. Sebaik sahaja pengarang pertama kertas itu, Joel Lehman, didedahkan di Internet, ia serta-merta membangkitkan banyak perhatian daripada netizen:

Seorang netizen pengaturcara berkata selepas membacanya, "Saya tidak dapat mengikuti perkembangan (Kepantasan teknologi)":

Malah OpenAI sendiri berkata dalam penyelidikan:

Merapatkan jurang antara evolusi algoritma yang beroperasi pada tahap pemikiran manusia.

Jadi bagaimana AI mencapai perkara "ajaib" ini?

Lihat GitHub, AI menaip kod dengan sendiri

Mereka bentuk robot boleh alih dalam persekitaran maya ialah projek yang sangat popular dalam penyelidikan algoritma genetik.

Terutamanya pertandingan Sodarace sangat popular kerana ia memerlukan kurang pengiraan dan prosesnya dapat dilihat dengan mudah.

Peraturannya mudah, robot terdiri daripada "sendi" dan "otot" perlumbaan di pelbagai rupa bumi.

OpenAI juga sengaja menulis semula keseluruhan program pertandingan daripada pengekodan genetik khusus kepada versi Python untuk menunjukkan kepelbagaian kaedah baharu kepada bahasa pengaturcaraan moden.

Sebagai contoh, sekeping kod Python ini boleh digunakan sebagai robot benih awal.

Selepas mentakrifkan empat sendi puncak dan sendi hujung segi empat sama dan menyambungkannya dengan "otot", hasilnya adalah seperti berikut.

Walau bagaimanapun, struktur segi empat sama tidak boleh bergerak sama sekali. Seterusnya, kod tersebut perlu diubah suai oleh algoritma genetik.

Pasukan penyelidik percaya bahawa masih terdapat dua jurang dalam kecekapan antara menggunakan algoritma genetik tradisional untuk mengubah suai kod berbanding pengaturcara manusia melakukannya sendiri:

Salah satunya ialah perisian menjadi semakin kompleks, dan manusia boleh mencipta modul Walau bagaimanapun, algoritma genetik yang paling maju pada masa ini tidak dapat melakukan ini dalam bahasa pengaturcaraan yang digunakan oleh manusia.

Yang lain ialah hampir semua algoritma genetik bergantung pada mutasi rawak, dan setiap kali pengaturcara manusia mengubah suai kod, mereka mempunyai tujuan, sama ada untuk menambah fungsi, untuk meningkatkan kecekapan atau untuk membaikinya.

Jadi adakah terdapat cara untuk AI mempelajari cara manusia mengubah suai kod?

Ya, data latihan yang diperlukan semuanya disimpan di GitHub.

Pengaturcara yang cemerlang akan menulis perihalan komit setiap kali mereka menyerahkan kod, menerangkan dengan jelas perkara yang telah diubah suai dalam penyerahan ini.

Penerangan komit digabungkan dengan data perbezaan yang membandingkan kod sebelum dan selepas penyerahan adalah bahan pembelajaran yang sangat baik untuk AI.

Para penyelidik menapis beberapa data yang diserahkan dengan penerangan yang jelas dan sejumlah kecil kod yang diubah suai untuk melatih model AI seni bina GPT-3.

Ia sama dengan membiarkan AI belajar daripada pengaturcara manusia cara mengubah suai sekeping kod secara sengaja.

Model yang digunakan dalam kertas ini tidak perlu sebesar 175 bilion parameter versi penuh GPT-3, dan maksimum 750 juta parameter sudah memadai.

Daripada ini, model AI asas diperoleh, yang akan memainkan peranan pengendali mutasi dalam algoritma genetik.

Proses seterusnya membenarkan AI mereka bentuk robot baharu dibahagikan kepada tiga langkah.

Langkah pertama ialah menggunakan algoritma MAP-Elites klasik untuk menjana set awal robot.

Ini ialah algoritma QD (Kepelbagaian Kualiti) yang memastikan robot berkelakuan berbeza dan semuanya berkualiti tinggi.

Langkah kedua ialah menggunakan data awal yang dijana dalam langkah pertama untuk pra-latihan, supaya AI ​​boleh mula-mula belajar untuk mereka bentuk robot dalam data latihan pengedaran.

Itulah gambar animasi pada mulanya yang mengejutkan semua orang di Internet, menunjukkan bagaimana AI boleh mengubah "blok" tak alih menjadi robot mudah alih dengan kaki bersilih melantun langkah demi langkah.

Langkah ketiga ialah memperhalusi algoritma pembelajaran tetulang supaya AI ​​boleh menjana robot yang boleh menyesuaikan diri dengan persekitaran mengikut keadaan rupa bumi yang berbeza.

Akhir sekali, penyelidik memilih robot berkembang daripada tiga biji pertama untuk menunjukkan kesannya.

Dapat dilihat bahawa struktur dan cara mereka bergerak adalah berbeza sama sekali.

Netizen melaungkan "pemikiran itu sangat jelas"

Apabila kajian ini diumumkan, boleh dikatakan ia menyebabkan ribuan ombak dengan satu batu.

Ramai netizen kagum dengan cara baru ini menggabungkan "model besar + algoritma evolusi":

Penyelidik yang telah melakukan kerja berkaitan juga Dia berkata bahawa dia tidak pernah terfikir untuk menggunakan model besar untuk mempelajari mutasi dalam bentuk diff:

Selain membincangkan borang kajian dan dirinya, beberapa netizen turut menambah Gambar seperti ini:

Emmm...agak-agak la.

Pengenalan Pasukan

Ahli pasukan penyelidikan ini semuanya daripada OpenAI.

Pengarang pertama makalah itu ialah Joel Lehman, seorang saintis pembelajaran mesin. Bidang tumpuannya termasuk keselamatan kecerdasan buatan, pembelajaran pengukuhan dan algoritma carian terbuka.

Pada masa yang sama, Joel Lehman sebelum ini turut menulis buku saintifik "Why Greatness Cannot Be Planned: The Secret of Objectiveness" berdasarkan pemikirannya tentang perkembangan kecerdasan buatan:

Bagi langkah seterusnya dalam penyelidikan ini, Joel Lehman sendiri berkata:

Satu lagi persoalan penting ialah sejauh mana model itu boleh digunakan pada persekitaran lain.

Keberkesanan mutasi dalam GP kini boleh dipertingkatkan dengan ketara oleh ELM, yang akan memberi inspirasi kepada pelbagai aplikasi baharu dan hala tuju penyelidikan.

Jadi adakah penyelidikan ini memberi anda inspirasi baharu?

Pautan rujukan:

[1]https://arxiv.org/abs/2206.08896

[2]https://twitter. com/joelbot3000/status/1538770905119150080?s=21&t=l8AASYjgC6RAEEimcQaFog

Atas ialah kandungan terperinci AI menulis kodnya sendiri untuk membolehkan ejen berkembang! Model besar OpenAI rasanya seperti "pemikiran manusia". Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!