Ringkasan akhir tahun Google AI No. 6: Bagaimanakah perkembangan robot Google tanpa Boston Dynamics?

Flip belakang oleh Boston Dynamics menunjukkan kepada kita kemungkinan tidak terhingga yang dibawa oleh robot buatan manusia. ​

Walaupun Google mempunyai Boston Dynamics mengambil tindakan , tetapi Google masih meneruskan laluan mereka dalam pembangunan robot, bukan sahaja mendekati manusia dalam "badan", dalam "kecerdasan" ” Juga mengejar yang lebih baik pemahaman tentang arahan manusia .

Siri ringkasan akhir tahun Google Research "Google Research, 2022 & seterusnya" yang diketuai oleh Jeff Dean telah dikemas kini kepada yang keenam isu. Tema isu ialah "Robot" , ditulis oleh Kendra Byrne, pengurus produk kanan dan Saintis Penyelidikan Robotik Google Jie Tan

​Dalam hidup kita, kita pasti akan melihat teknologi robotik mengambil bahagian dalam kehidupan seharian manusia dan membantu untuk meningkatkan produktiviti dan kualiti hidup manusia.

Sebelum teknologi robotik boleh digunakan secara meluas untuk kerja amali harian di ruang berpusatkan manusia (iaitu ruang yang direka untuk manusia, bukan mesin), mereka perlu dipastikan bahawa mereka boleh dilakukan dengan selamat untuk membantu orang ramai.

Pada tahun 2022, Google menumpukan pada cabaran untuk menjadikan robot lebih berguna kepada manusia:

1. Biar robot dan manusia berkomunikasi dengan lebih berkesan dan semula jadi; deria pengetahuan dalam dunia sebenar;
2. Kembangkan bilangan kemahiran peringkat rendah yang diperlukan untuk robot melaksanakan tugas dengan berkesan dalam persekitaran yang tidak berstruktur.
3. Apabila LLM bertemu robot

Ciri model bahasa besar (LLM) ialah keupayaan untuk mengekodkan penerangan dan konteks ke dalam format yang "boleh difahami oleh manusia dan mesin".

Apabila LLM digunakan pada robotik, ia membenarkan pengguna menetapkan tugasan kepada robot hanya melalui arahan bahasa semula jadi apabila digabungkan dengan model visual dan kaedah pembelajaran robot, LLM menyediakan cara untuk memahami konteks permintaan pengguna; dan boleh merancang tindakan yang perlu diambil untuk melengkapkan permintaan.

Salah satu kaedah asas ialah menggunakan LLM untuk menggesa model pra-latihan lain untuk mendapatkan maklumat untuk membina konteks tentang perkara yang berlaku di tempat kejadian dan membuat ramalan untuk tugasan berbilang modal. Keseluruhan proses adalah sama dengan kaedah pengajaran Socratic Guru menyoal murid dan membimbing mereka menjawabnya melalui proses pemikiran yang rasional.

Dalam "Model Socrates", penyelidik menunjukkan bahawa pendekatan ini boleh mencapai prestasi terkini dalam penerangan imej tangkapan sifar dan tugas mendapatkan teks video, dan juga boleh menyokong ciri baharu, seperti Jawapan soalan berbentuk bebas tentang video dan meramalkan aktiviti masa depan, dialog berbantukan pelbagai mod, dan persepsi dan perancangan robot.

Pautan kertas: https://arxiv.org/abs/2204.00598

Dalam "Ke Arah Robot Berguna: Bahasa Asas untuk Kebolehgunaan Robot" Dalam artikel, penyelidik bekerjasama dengan Robot Setiap Hari untuk merancang tugas jangka panjang berdasarkan model bahasa PaLM dalam model kebolehgunaan robot.

Pautan blog: https://ai.googleblog.com/2022/08/towards-helpful-robots-grounding.html

Dalam sebelumnya Dalam pendekatan pembelajaran mesin, robot hanya boleh menerima arahan pendek berkod keras seperti "angkat span" dan mengalami kesukaran untuk membuat alasan tentang langkah yang diperlukan untuk menyelesaikan tugasan Jika tugas itu adalah matlamat abstrak, seperti "Bolehkah anda tolong bersihkan tumpahan ini?" Sesuatu yang lebih sukar untuk ditangani.

Para penyelidik memilih untuk menggunakan LLM untuk meramalkan urutan langkah untuk menyelesaikan tugas jangka panjang, bersama-sama dengan model kemampuan yang mewakili kemahiran yang sebenarnya boleh dicapai oleh robot dalam situasi yang diberikan.

Fungsi nilai dalam model pembelajaran pengukuhan boleh digunakan untuk membina model affordance, yang merupakan perwakilan abstrak tindakan yang boleh dilakukan oleh robot dalam keadaan yang berbeza, sekali gus menyepadukan tugas jangka panjang dalam dunia nyata, seperti “mengemas bilik tidur” dengan menyiapkan tugasan kemahiran jangka pendek yang diperlukan seperti memilih, meletakkan dan menyusun barang dengan betul.

Pautan kertas: https://arxiv.org/abs/2111.03189

Memiliki kedua-dua model LLM dan affordance tidak bermakna robot boleh berjaya menyelesaikan Tugasan, melalui monolog dalaman (Monolog Dalam), boleh menutup gelung dalam perancangan tugasan berasaskan LLM menggunakan sumber maklumat lain, seperti maklum balas manusia atau pemahaman adegan, boleh mengesan apabila robot tidak dapat menyelesaikan tugas dengan betul.

Pautan kertas: https://arxiv.org/abs/2207.05608

Menggunakan robot daripada Everyday Robots, penyelidik mendapati bahawa LLM boleh dengan berkesan By re -merancang langkah perancangan semasa atau sebelumnya yang gagal, robot boleh pulih daripada kegagalan dan menyelesaikan tugas yang kompleks, seperti "meletakkan Coke dalam laci atas."

Dalam perancangan tugas berasaskan LLM, salah satu keupayaan yang luar biasa ialah robot boleh bertindak balas terhadap perubahan dalam matlamat peringkat tinggi dan tugas perantaraan: contohnya, pengguna boleh beritahu robot apa yang sedang berlaku Perkara yang boleh mengubah tindakan yang telah dirancang dengan menyediakan pembetulan pantas atau mengubah hala robot ke tugas lain amat berguna untuk membenarkan pengguna mengawal dan menyesuaikan tugas robot secara interaktif.

Walaupun bahasa semula jadi memudahkan orang untuk menentukan dan mengubah suai tugas robot, terdapat juga cabaran untuk bertindak balas terhadap penerangan manusia dalam masa nyata.

Penyelidik mencadangkan rangka kerja pembelajaran tiruan berskala besar untuk menghasilkan bot masa nyata, perbendaharaan kata terbuka, kondisi bahasa yang mampu memproses lebih daripada 87,000 arahan unik dengan anggaran kadar kejayaan purata 93.5 % sebagai sebahagian daripada projek ini, Google turut mengeluarkan set data robot anotasi bahasa terbesar Jadual Bahasa

Pautan kertas: https://arxiv.org/ pdf/2210.06407.pdf

Selain itu, menggunakan LLM untuk menulis kod bagi mengawal pergerakan robot juga merupakan hala tuju penyelidikan yang menjanjikan.

Kaedah pengekodan yang dibangunkan oleh penyelidik menunjukkan potensi untuk meningkatkan kerumitan tugas, membolehkan robot menjana kod baharu secara autonomi untuk menggabungkan semula panggilan API, mensintesis fungsi baharu dan menyatakan gelung Maklum Balas untuk mensintesis gelagat baharu pada masa jalan.

Pautan kertas: https://arxiv.org/abs/2209.07753

Mentransformasikan pembelajaran robot kepada masalah data berskala

Besar -bahasa berskala dan model multimodal boleh membantu robot memahami persekitaran di mana mereka beroperasi, seperti apa yang berlaku di tempat kejadian dan apa yang robot perlu lakukan tetapi robot juga memerlukan kemahiran fizikal peringkat rendah untuk menyelesaikan tugasan dalam dunia fizikal, seperti; sebagai mengambil dan meletakkan objek dengan tepat.

Walaupun manusia sering mengambil mudah kemahiran fizikal ini, dapat melakukan pelbagai tindakan tanpa berfikir, mereka memberikan masalah kepada robot.

Sebagai contoh, apabila robot mengambil objek, ia perlu merasakan dan memahami persekitaran, menyimpulkan hubungan ruang dan dinamik sentuhan antara cakar dan objek, memacu tahap kebebasan yang tinggi dengan tepat lengan, dan gunakan daya yang sesuai untuk menstabilkan objek Grab tanpa memusnahkannya.

Teka-teki mempelajari kemahiran peringkat rendah ini dikenali sebagai Paradoks Moravec: Penaakulan memerlukan pengiraan yang sangat sedikit, tetapi kemahiran sensorimotor dan persepsi memerlukan sumber pengiraan yang besar.

Diinspirasikan oleh kejayaan LLM, para penyelidik menggunakan pendekatan dipacu data untuk mengubah masalah pembelajaran kemahiran fizik peringkat rendah kepada masalah data berskala: LLM menunjukkan kebolehgeneralisasian dan prestasi model Transformer berskala besar Bertambah apabila volum data bertambah.

Pautan kertas: https://robotics-transformer.github.io/assets/rt1.pdf

Para penyelidik mencadangkan model Robot Transformer-1 (RT-1) dan melatih strategi pengendalian robot Data latihan yang digunakan ialah set data robot dunia sebenar berskala besar sebanyak 130,000 episod, menggunakan data dari Everyday Robots 13. robot, meliputi lebih daripada 700 tugasan, dan menunjukkan arah aliran yang sama dalam robotik, iaitu meningkatkan saiz dan kepelbagaian data meningkatkan generalisasi model kepada tugas, persekitaran dan objek baharu.

Di sebalik model bahasa dan kaedah pembelajaran robot (seperti RT-1), model Transformer dilatih berdasarkan data berskala Internet tetapi apa yang berbeza daripada LLM ialah bahawa , Robotik menghadapi cabaran perwakilan pelbagai mod , mengubah persekitaran dan pengiraan terhad.

Pada tahun 2020, Google mencadangkan Performers, kaedah yang boleh meningkatkan kecekapan pengkomputeran Transformer, yang mempengaruhi berbilang senario aplikasi termasuk robotik.

Baru-baru ini, penyelidik telah memperluaskan kaedah ini dan memperkenalkan kelas baharu strategi kawalan tersirat yang menggabungkan kelebihan pembelajaran simulasi dan pengendalian kekangan sistem yang mantap (model kekangan kawalan pra-anggaran).

Pautan kertas: https://performermpc.github.io/

Berbanding dengan strategi MPC standard, keputusan eksperimen menunjukkan bahawa robot itu lebih baik dalam mencapai matlamat Terdapat lebih daripada 40% peningkatan, dan terdapat lebih daripada 65% peningkatan dalam penunjuk sosial apabila menavigasi di sekeliling manusia; Performance-MPC ialah model 8.3 M-parameter dan kependaman model hanya 8 milisaat, menjadikan ia boleh dilaksanakan untuk menggunakan Transformers pada robot.

Pasukan penyelidik Google juga menunjukkan bahawa kaedah dipacu data selalunya boleh digunakan pada platform robotik yang berbeza dalam persekitaran yang berbeza untuk mempelajari pelbagai tugas, termasuk operasi mudah alih, navigasi, pergerakan dan pingpong, dsb., juga menunjukkan laluan yang jelas untuk mempelajari kemahiran robotik peringkat rendah: pengumpulan data berskala.

Berbeza dengan data video dan teks yang banyak di Internet, data robotik amat terhad dan sukar diperoleh, dan kaedah untuk mengumpul dan menggunakan set data kaya yang mewakili interaksi dunia sebenar adalah kunci kepada terdorong data dengan berkesan. pendekatan.

Simulasi ialah pilihan yang pantas, selamat dan mudah selari, tetapi sukar untuk meniru persekitaran yang lengkap dalam simulasi, terutamanya persekitaran fizikal dan persekitaran interaksi manusia-komputer.

Pautan kertas: https://arxiv.org/abs/2207.06572

Dalam i-Sim2Real, penyelidik menunjukkan kaedah untuk Bootstrapping daripada manusia ringkas model tingkah laku dan berselang-seli antara latihan simulasi dan penggunaan dalam dunia nyata untuk menyelesaikan ketidakpadanan antara simulasi dan realiti dan belajar bermain pingpong menentang lawan manusia pada setiap lelaran, model dan strategi tingkah laku manusia akan diperhalusi.

Walaupun simulasi boleh membantu dalam mengumpul data, mengumpul data dalam dunia sebenar adalah penting untuk memperhalusi strategi simulasi atau menyesuaikan strategi sedia ada dalam persekitaran baharu.

Semasa proses pembelajaran, robot boleh gagal dengan mudah dan berpotensi menyebabkan kerosakan pada dirinya sendiri dan persekitaran sekelilingnya Terutama pada peringkat awal pembelajaran meneroka cara berinteraksi dengan dunia, data latihan perlu dikumpul dengan selamat untuk. membuat robot Bukan sahaja mempelajari kemahiran, tetapi juga pulih secara autonomi daripada kegagalan.

Pautan kertas: https://arxiv.org/abs/2110.05457

Penyelidik mencadangkan rangka kerja RL yang selamat dalam "Strategi Pelajar Bertukar antara ” dan "Strategi Pemulihan Selamat", di mana yang pertama dioptimumkan untuk melaksanakan tugas yang diperlukan, dan yang kedua menghalang robot daripada berada dalam keadaan tidak selamat, strategi set semula dilatih supaya robot boleh pulih daripada kegagalan, seperti belajar selepas jatuh Berdiri sendiri.

Walaupun data tentang robot sangat sedikit, terdapat banyak video manusia yang melakukan tugas yang berbeza Sudah tentu, struktur robot dan manusia adalah berbeza, jadi ia adalah penting untuk robot belajar daripada manusia Idea ini menimbulkan persoalan "memindahkan pembelajaran merentasi entiti yang berbeza."

Pautan kertas: https://arxiv.org/pdf/2106.03911.pdf

Penyelidik membangunkan Pembelajaran Peneguhan Songsang Penjelmaan Silang), mempelajari tugas baharu dengan memerhati manusia , tidak cuba untuk meniru tugas dengan tepat seperti manusia, tetapi mempelajari matlamat tugasan peringkat tinggi dan meringkaskan pengetahuan ini dalam bentuk fungsi ganjaran Pembelajaran tunjuk cara membolehkan robot belajar dengan menonton Belajar kemahiran dengan video yang tersedia di internet.

Hala tuju lain ialah untuk meningkatkan kecekapan data algoritma pembelajaran supaya mereka tidak lagi bergantung semata-mata pada pengumpulan data lanjutan: RL dipertingkatkan dengan memasukkan maklumat terdahulu, termasuk maklumat ramalan, tindakan awal tindakan lawan dan kecekapan strategi panduan kaedah.

Pautan kertas: https://arxiv.org/abs/2210.10865

Menggunakan seni bina sistem dinamik berstruktur baharu untuk menggabungkan RL dengan Gabungan trajektori pengoptimuman, disokong oleh penyelesai baharu, telah dipertingkatkan lagi, dengan maklumat terdahulu membantu meringankan cabaran penerokaan, menormalkan data dengan lebih baik dan mengurangkan jumlah data yang diperlukan dengan ketara.

Selain itu, pasukan robotik juga telah melaburkan banyak wang dalam pembelajaran simulasi data yang lebih berkesan. generalisasi tembakan.

Pautan kertas: https://arxiv.org/pdf/2210.02343.pdf

Dan turut memperkenalkan algoritma pembelajaran tiruan berulang GoalsEye, daripada permainan Gabungan pembelajaran sederhana dan pengklonan tingkah laku bersyarat sasaran digunakan untuk permainan pingpong berkelajuan tinggi dan berketepatan tinggi.

Pautan kertas: https://sites.google.com/view/goals-eye

Dari segi teori, penyelidik mengkaji pembelajaran simulasi perwakilan Kestabilan sistem dinamik dengan kerumitan sampel, dan peranan menangkap kegagalan dan pemulihan dalam data demonstrasi untuk mengawal selia pembelajaran luar talian dengan lebih baik dengan set data yang kecil.

Pautan kertas: https://proceedings.mlr.press/v168/tu22a.html

Ringkasan

Skala besar dalam bidang kecerdasan buatan Kemajuan model telah menggalakkan lonjakan dalam keupayaan pembelajaran robot.

Sepanjang tahun lalu, kami telah melihat pengertian kontekstual dan urutan peristiwa yang ditangkap dalam LLM membantu menangani perancangan jangka panjang untuk robotik dan memudahkan robot berinteraksi dengan orang dan menyelesaikan tugas. Anda juga boleh melihat laluan berskala untuk mempelajari keteguhan dan menyamaratakan tingkah laku robot dengan menggunakan seni bina model Transformer pada pembelajaran robot.

Google telah berjanji untuk terus membuka set data sumber untuk terus membangunkan bot berguna pada tahun baharu.

Atas ialah kandungan terperinci Ringkasan akhir tahun Google AI No. 6: Bagaimanakah perkembangan robot Google tanpa Boston Dynamics?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!