AI menonton 70,000 jam video "Minecraft" untuk mempelajari kemahiran manusia lanjutan: Ia sangat menyakitkan

Tahap apakah yang boleh dicapai oleh AI dengan menonton 70,000 jam video "Minecraft"?

Ambil "beliung berlian" sebagai contoh. Seorang pemain manusia maju memerlukan 20 minit klik pantas dan kira-kira 24,000 tindakan untuk menyelesaikannya.

Dan kini AI boleh memegangnya dengan mudah.

Cari pelbagai bahan dan lakukan pelbagai sintesis langkah demi langkah:

Ini ialah AI "Minecraft" paling berkuasa daripada OpenAI - —MineDojo.

Ia juga merupakan AI pertama di dunia yang boleh mencipta "Alat Berlian".

Bukan itu sahaja, membina "pilihan batu" dan "tempat perlindungan ringkas" adalah mudah:

Sudah tentu, dalam "Minecraft" Operasi rutin lain juga mudah dikendalikan oleh MineDojo.

Contohnya, berenang, memburu, melompat tiang, dsb.:

Mengenai sebab OpenAI mahu AI mempelajari kemahiran ini, penyelidik Bowen Baker berkata:

Kebanyakannya adalah kerana kami meniru cara manusia berkelakuan dalam talian.

Bagaimana MineDojo dibuat?

Seperti yang baru kami sebutkan, "cara untuk berlatih" dalam MineDojo ialah menonton video.

Kandungan video ini disiarkan oleh pemain manusia di YouTube untuk menunjukkan cara mereka bermain "Minecraft".

Kemudian selepas menonton video selama 70,000 jam, AI mempelajari cara melaksanakan pelbagai tugas dalam permainan.

Kaedah ini secara umumnya dipanggil pembelajaran tiruan iaitu melatih rangkaian saraf untuk belajar dengan memerhati tingkah laku manusia.

Walaupun sudah banyak kajian berkaitan sebelum ini, masih terdapat beberapa masalah yang masih belum diselesaikan.

"Tag" adalah salah satu daripadanya.

Cara tradisional ialah meletakkan label pada setiap tindakan: jika anda melakukan ini, ini akan berlaku, jika anda melakukan itu, itu akan berlaku.

Tetapi akibat yang boleh dibayangkan daripada pendekatan ini ialah beban kerja yang terlalu besar, mengakibatkan kurang data yang boleh digunakan untuk latihan.

Oleh itu, penyelidik OpenAI mengambil pendekatan yang berbeza dan menghasilkan idea penyelidikan yang berbeza - Video Pra-Latihan (VPT):

Idea teras Kaedah ini adalah untuk melatih rangkaian saraf lain secara khusus untuk mengendalikan kerja "pelabelan" yang membosankan.

Untuk tujuan ini, penyelidik mula-mula menemui sekumpulan pemain dan meminta mereka bermain "Minecraft" terlebih dahulu, sambil berseronok, mereka juga perlu merekodkan bilangan klik papan kekunci dan tetikus.

Dengan cara ini, para penyelidik mula-mula memperoleh kira-kira 2000 jam data berlabel.

Atas dasar ini, mereka mula melatih model untuk memadankan pergerakan papan kekunci dan tetikus serta hasil pada skrin -

Sebagai contoh, dalam keadaan apakah klik tetikus menyebabkan permainan menggunakan watak sebuah kapak.

Selepas latihan model ini, 70,000 jam video tidak berlabel akan diperkenalkan dengan sokongannya, set data yang besar dan boleh digunakan akan dilahirkan.

Langkah seterusnya ialah kembali kepada idea pembelajaran tiruan sebelumnya dan menggunakan data baharu ini untuk melatih AI.

Walaupun pembelajaran meniru boleh dikatakan sebagai satu cabang pembelajaran pengukuhan, penyelidik OpenAI mendapati bahawa AI yang dilatih oleh VPT boleh menyelesaikan tugasan yang tidak boleh dicapai dengan pembelajaran pengukuhan sahaja.

Seperti membuat papan kayu dan mengubahnya menjadi meja (memerlukan kira-kira 970 tindakan berturut-turut).

Bukan itu sahaja, pengkaji juga mendapati jika pembelajaran tiruan dan pembelajaran pengukuhan digabungkan, hasil yang terbaik akan dapat dicapai.

Berkembang daripada penyelidikan tentang "Minecraft", penyelidik OpenAI juga berkata:

AI kami juga boleh melaksanakan tugas lain, seperti menyemak imbas tapak web dengan tetikus dan menempah penerbangan Atau membeli-belah dalam talian.

"Minecraft" telah menjadi medan ujian untuk teknologi AI

Malah, kemuncak penyelidikan OpenAI kali ini ialah, tidak termasuk kaedah VPT itu sendiri, dua elemen utama penyelidikannya - "Minecraft" ” dan video juga telah menjadi tumpuan perbincangan hangat.

Ciri utama permainan "Minecraft" ialah keterbukaannya Pemain boleh mencipta banyak karya yang tidak dijangka di dunia maya ini.

Berbeza daripada persekitaran permainan sebelumnya di mana pembelajaran pengukuhan melatih AI, kebanyakannya berakhir dengan "menang atau kalah" sebagai hasilnya, tetapi selalunya kebolehan AI yang dilatih kemudian mungkin melebihi "had" ini.

Tetapi tiada perkara seperti "menang atau kalah" dalam "Minecraft AI boleh memainkan peranan penuhnya di sini". Oleh itu, penyelidik OpenAI berkata:

"Minecraft" ialah medan percubaan yang baik untuk melatih AI.

Dan ini juga memenangi pengiktirafan NeurIPS - MineDojo memenangi anugerah pada persidangan teratas tahun ini.

Bagi topik hangat kedua kajian ini, "video", seperti yang dikatakan oleh Pengarah Eksekutif Sony Peter Stone:

Video ialah sumber latihan yang berpotensi besar.

Tetapi nampaknya penyelidik OpenAI tidak berpuas hati dengan keputusan ini. Mereka percaya bahawa mengumpul 1 juta jam video "Minecraft" akan menjadikan AI mereka lebih baik.

Sudah tentu, penyelidikan ini juga menarik banyak perhatian daripada netizen, dan terdapat juga beberapa perbincangan yang menarik:

Orang ramai mahu AI sedar, tetapi selepas mereka sedar barulah mereka sedar. that they need to be Memang memenatkan menonton video sekian lama.

Alamat kertas: https://openai.com/blog/vpt/

​Pautan rujukan:

[1]https ://www.reddit.com/r/technology/comments/z58fmi/a_bot_that_watched_70000_hours_of_minecraft_could/

[2]https://www.youtube.com/watch?v=Z2FsxrRmDPQ[3]https:// www.youtube.com/watch?v=fJn9B64Znrk​

Atas ialah kandungan terperinci AI menonton 70,000 jam video "Minecraft" untuk mempelajari kemahiran manusia lanjutan: Ia sangat menyakitkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!