Belajar memasang papan litar dalam masa 20 minit! Rangka kerja SERL sumber terbuka mempunyai kadar kejayaan kawalan ketepatan 100% dan tiga kali lebih pantas daripada manusia

Kini, robot telah mempelajari tugas kawalan kilang yang tepat.

Dalam beberapa tahun kebelakangan ini, kemajuan ketara telah dicapai dalam bidang teknologi pembelajaran pengukuhan robot, seperti berjalan berkaki empat, menggenggam, manipulasi ketangkasan, dan lain-lain, tetapi kebanyakannya terhad kepada demonstrasi makmal pentas. Menggunakan teknologi pembelajaran pengukuhan robot secara meluas kepada persekitaran pengeluaran sebenar masih menghadapi banyak cabaran, yang pada tahap tertentu mengehadkan skop aplikasinya dalam senario sebenar. Dalam proses aplikasi praktikal teknologi pembelajaran pengukuhan, adalah perlu untuk mengatasi pelbagai masalah kompleks termasuk penetapan mekanisme ganjaran, penetapan semula persekitaran, peningkatan kecekapan sampel, dan jaminan keselamatan tindakan. Pakar industri menekankan bahawa menyelesaikan banyak masalah dalam pelaksanaan sebenar teknologi pembelajaran tetulang adalah sama pentingnya dengan inovasi berterusan algoritma itu sendiri.

Menghadapi cabaran ini, sarjana dari University of California, Berkeley, Stanford University, University of Washington dan Google bersama-sama membangunkan rangka kerja perisian sumber terbuka yang dipanggil Efficient Robot Reinforcement Learning Suite (SERL), khusus untuk mempromosikan teknologi pembelajaran pengukuhan Digunakan secara meluas dalam aplikasi robotik praktikal.

• Laman utama projek: https://serl-robot.github.io/
• Kod sumber terbuka: https://github.com/rail-berkeley/serl
• Tajuk kertas: SERL: A Software Suite untuk Pembelajaran Pengukuhan Robotik Cekap Sampel

Rangka kerja SERL terutamanya merangkumi komponen berikut:

1. sebagai robot) lulus Berinteraksi dengan persekitaran untuk mempelajari cara melaksanakan tugas. Ia mempelajari satu set strategi yang direka untuk memaksimumkan ganjaran terkumpul dengan mencuba pelbagai tingkah laku dan mendapatkan isyarat ganjaran berdasarkan keputusan tingkah laku. SERL menggunakan algoritma RLPD untuk memperkasakan robot untuk belajar daripada interaksi masa nyata dan data luar talian yang dikumpul sebelum ini pada masa yang sama, sangat memendekkan masa latihan yang diperlukan untuk robot menguasai kemahiran baharu.

2. Kaedah penyediaan ganjaran yang pelbagai

SERL menyediakan pelbagai kaedah penyediaan ganjaran, membolehkan pembangun menyesuaikan struktur ganjaran mengikut keperluan tugasan tertentu. Contohnya, tugas pemasangan kedudukan tetap boleh mempunyai ganjaran yang disesuaikan dengan kedudukan robot dan tugas yang lebih kompleks boleh menggunakan pengelas atau VICE untuk mempelajari mekanisme ganjaran yang tepat. Fleksibiliti ini membantu untuk membimbing robot dengan tepat untuk mempelajari strategi yang paling berkesan untuk tugas tertentu.

3. Tiada fungsi pembiakan

Algoritma pembelajaran robot tradisional perlu menetapkan semula persekitaran dengan kerap untuk pusingan pembelajaran interaktif seterusnya. Dalam banyak tugas ini tidak boleh dilakukan secara automatik. Keupayaan pembelajaran tanpa pengukuhan yang disediakan oleh SERL melatih kedua-dua dasar ke hadapan ke belakang secara serentak, menyediakan tetapan semula persekitaran antara satu sama lain.

4. Antara muka kawalan robot

SERL menyediakan satu siri antara muka persekitaran Gim untuk tugas manipulator Franka sebagai contoh standard, yang membolehkan pengguna dengan mudah memanjangkan SERL ke lengan robotik yang berbeza.

5. Pengawal impedans

Untuk memastikan robot boleh meneroka dan beroperasi dengan selamat dan tepat dalam persekitaran fizikal yang kompleks, SERL menyediakan pengawal impedans khas untuk lengan robot Franka, sambil memastikan ketepatan Pada pada masa yang sama, pastikan tiada tork berlebihan dihasilkan selepas bersentuhan dengan objek luar.

Melalui gabungan teknologi dan kaedah ini, SERL sangat memendekkan masa latihan sambil mengekalkan kadar kejayaan dan keteguhan yang tinggi, membolehkan robot belajar menyelesaikan tugas yang rumit dalam masa yang singkat dan diaplikasikan dengan berkesan di dunia nyata.

Rajah 1, 2: Perbandingan kadar kejayaan dan bilangan rentak antara SERL dan kaedah pengklonan tingkah laku dalam pelbagai tugas. Dengan jumlah data yang sama, kadar kejayaan SERL adalah beberapa kali lebih tinggi (sehingga 10 kali ganda) daripada klon, dan kadar rentak sekurang-kurangnya dua kali lebih cepat.

^{Kes permohonan}

1. Pemasangan komponen PCB:

Memasang komponen berlubang pada papan PCB adalah tugas robotik yang biasa tetapi mencabar. Pin komponen elektronik sangat mudah dibengkokkan, dan toleransi antara kedudukan lubang dan pin adalah sangat kecil, yang memerlukan robot menjadi tepat dan lembut semasa pemasangan. Dengan hanya 21 minit pembelajaran autonomi, SERL membolehkan robot mencapai kadar penyelesaian tugas 100%. Walaupun dalam menghadapi gangguan yang tidak diketahui seperti kedudukan papan litar yang bergerak atau garis penglihatan disekat sebahagian, robot boleh menyelesaikan kerja pemasangan dengan stabil.

： Rajah 3, 4, 5: Semasa melaksanakan misi komponen papan litar, robot boleh menangani pelbagai gangguan yang belum ditemui semasa peringkat latihan dan menyelesaikan tugasan dengan lancar.

2. Penghalaan kabel:

Dalam proses pemasangan banyak peralatan mekanikal dan elektronik, kami perlu memasang kabel dengan tepat di tempat di sepanjang laluan tertentu telah dibuat. Memandangkan kabel fleksibel terdedah kepada ubah bentuk semasa proses pendawaian, dan proses pendawaian mungkin tertakluk kepada pelbagai gangguan, seperti pergerakan kabel yang tidak disengajakan atau perubahan dalam kedudukan pemegang, ini menyukarkan untuk menangani penggunaan tradisional bukan- kaedah pembelajaran. SERL mampu mencapai kadar kejayaan 100% dalam masa 30 minit. Walaupun kedudukan pencengkam berbeza daripada kedudukan semasa latihan, robot dapat membuat generalisasi kemahiran yang dipelajari dan menyesuaikan diri dengan cabaran pendawaian baharu, memastikan pelaksanaan kerja pendawaian yang betul. ： Rajah 6, 7, 8: Robotik boleh terus melalui kabel melalui klip yang berbeza daripada latihan semasa latihan tanpa latihan yang lebih istimewa. . item tertentu. Semasa proses latihan pembelajaran pengukuhan, sukar untuk menetapkan semula objek yang kurang digerakkan secara automatik. Dengan memanfaatkan keupayaan pembelajaran pengukuhan tanpa tetapan semula SERL, robot itu mempelajari dua dasar secara serentak dengan kadar kejayaan 100/100 dalam masa 1 jam dan 45 minit. Gunakan strategi ke hadapan untuk meletakkan objek dari kotak A ke kotak B, dan kemudian gunakan strategi ke belakang untuk meletakkan objek dari kotak B kembali ke kotak A.

^{Rajah 9, 10, 11: SERL melatih dua set strategi, satu untuk membawa objek dari kanan ke kiri, dan satu untuk menggerakkan objek dari kiri ke belakang ke kanan. Robot itu bukan sahaja mencapai kadar kejayaan 100% pada objek latihan, tetapi juga boleh mengendalikan objek dengan bijak yang tidak pernah dilihatnya sebelum ini.}

Lead pengarang

1 di Pusat Kepintaran Buatan Berkeley (BAIR) dengan kerjasama Profesor Sergey Levine. Minat penyelidikan utamanya terletak pada pembelajaran mesin, robotik, dan kawalan optimum. Sebelum kembali ke akademik, beliau adalah penyelidik sepenuh masa di Google X, bekerja dengan Profesor Stefan Schaal. Sebelum itu, beliau menerima ijazah sarjana dalam sains komputer dan Ph.D dalam kejuruteraan mekanikal dari Universiti California, Berkeley pada masa ini beliau bekerja dengan Profesor Alice Agogino dan Profesor Pieter Abbeel. Beliau juga pernah berkhidmat sebagai sarjana penyelidikan pelawat di ibu pejabat Deepmind di London.

2. Zheyuan Hu

Beliau lulus dari Universiti California, Berkeley, dalam jurusan sains komputer dan matematik gunaan. Pada masa ini, beliau menjalankan penyelidikan di makmal RAIL yang diketuai oleh Profesor Sergey Levine. Beliau mempunyai minat yang kuat dalam bidang pembelajaran robotik, menumpukan pada membangunkan kaedah yang membolehkan robot memperoleh kemahiran manipulasi yang cekap dengan cepat dan meluas dalam dunia nyata.

3. Charles Xu

Beliau ialah pelajar sarjana muda tahun empat dalam jurusan kejuruteraan elektrik dan sains komputer di University of California, Berkeley. Pada masa ini, beliau menjalankan penyelidikan di makmal RAIL yang diketuai oleh Profesor Sergey Levine. Minat penyelidikannya terletak pada persimpangan robotik dan pembelajaran mesin, bertujuan untuk membina sistem kawalan autonomi yang sangat teguh dan berkebolehan generalisasi.

4 You Liang Tan

Beliau ialah Jurutera Penyelidik di Makmal rel Berkeley, diselia oleh Profesor Sergey Levine. Beliau sebelum ini menerima ijazah sarjana muda dari Universiti Teknologi Nanyang, Singapura dan menamatkan ijazah sarjana dari Institut Teknologi Georgia, Amerika Syarikat. Sebelum itu, beliau adalah ahli Yayasan Robotik Terbuka. Kerjanya memfokuskan pada aplikasi dunia sebenar pembelajaran mesin dan teknologi perisian robotik.

5. Stefan Schaal

Beliau menerima PhD dalam Kejuruteraan Mekanikal dan Kepintaran Buatan dari Universiti Teknikal Munich di Munich, Jerman pada tahun 1991. Beliau ialah penyelidik pasca doktoral di Jabatan Sains Otak dan Kognitif dan Makmal Kecerdasan Buatan MIT, penyelidik jemputan di Makmal Penyelidikan Pemprosesan Maklumat Manusia ATR di Jepun, dan penolong profesor tambahan di Jabatan Kinesiologi di Institut Teknologi Georgia. dan Universiti Negeri Pennsylvania di Amerika Syarikat. Beliau juga berkhidmat sebagai ketua pasukan pembelajaran pengiraan semasa projek ERATO Jepun, Projek Otak Kinetik Jawa (ERATO/JST). Pada tahun 1997, beliau menjadi profesor sains komputer, neurosains, dan kejuruteraan bioperubatan di USC dan dinaikkan pangkat sebagai profesor berjawatan. Minat penyelidikannya termasuk topik seperti statistik dan pembelajaran mesin, rangkaian saraf dan kecerdasan buatan, neurosains pengiraan, pengimejan otak berfungsi, dinamik tak linear, teori kawalan tak linear, robotik dan robot biomimetik.

Beliau ialah salah seorang pengarah pengasas Institut Max Planck untuk Sistem Pintar di Jerman, tempat beliau mengetuai Jabatan Gerakan Autonomi selama bertahun-tahun. Beliau kini merupakan ketua saintis di Intrinsic, anak syarikat robotik baharu Alphabet [Google]. Stefan Schaal ialah Fellow IEEE.

6. Chelsea Finn

Beliau ialah Penolong Profesor Sains Komputer dan Kejuruteraan Elektrik di Universiti Stanford. Makmalnya, IRIS, penyelidikan meneroka kecerdasan melalui interaksi robot berskala besar dan merupakan sebahagian daripada SAIL dan Kumpulan ML. Dia juga ahli pasukan Google Brain. Dia berminat dengan keupayaan robot dan ejen pintar lain untuk membangunkan pelbagai tingkah laku pintar melalui pembelajaran dan interaksi. Beliau sebelum ini menamatkan PhD dalam sains komputer dari University of California, Berkeley, dan ijazah sarjana muda dalam bidang kejuruteraan elektrik dan sains komputer dari Massachusetts Institute of Technology.

7. Abhishek Gupta

Beliau ialah penolong profesor di Sekolah Sains dan Kejuruteraan Komputer Paul G. Allen di Universiti Washington, tempat beliau mengetuai Makmal PELIK. Sebelum ini, beliau adalah seorang sarjana pasca doktoral di MIT, bekerja dengan Russ Tedrake dan Pulkit Agarwal. Beliau menamatkan PhDnya dalam pembelajaran mesin dan robotik di BAIR, UC Berkeley, di bawah penyeliaan Profesor Sergey Levine dan Pieter Abbeel. Sebelum itu, beliau juga menamatkan pengajian ijazah sarjana muda di Universiti California, Berkeley. Matlamat penyelidikan utamanya ialah untuk membangunkan algoritma yang membolehkan sistem robotik belajar melaksanakan tugas yang kompleks dalam pelbagai persekitaran tidak berstruktur, seperti pejabat dan rumah.

8. Sergey Levine

Beliau ialah seorang profesor bersekutu di Jabatan Kejuruteraan Elektrik dan Sains Komputer di University of California, Berkeley. Penyelidikan beliau memberi tumpuan kepada algoritma yang membolehkan ejen autonomi mempelajari tingkah laku yang kompleks, terutamanya kaedah umum yang membolehkan mana-mana sistem autonomi belajar menyelesaikan sebarang tugas. Aplikasi untuk kaedah ini termasuk robotik, serta pelbagai bidang lain yang memerlukan pembuatan keputusan autonomi.

Atas ialah kandungan terperinci Belajar memasang papan litar dalam masa 20 minit! Rangka kerja SERL sumber terbuka mempunyai kadar kejayaan kawalan ketepatan 100% dan tiga kali lebih pantas daripada manusia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!