Kerja baharu pasukan Li Feifei: robot yang dikawal otak melakukan kerja rumah, memberikan antara muka otak-komputer keupayaan untuk belajar dengan beberapa sampel

Anda boleh menggunakan otak anda, bukan tangan anda.

Pada masa hadapan, anda mungkin boleh meminta robot untuk membantu anda membuat kerja rumah hanya dengan memikirkannya. Sistem NOIR baru-baru ini dicadangkan oleh pasukan Wu Jiajun dan Li Feifei dari Universiti Stanford membolehkan pengguna mengawal robot untuk menyelesaikan tugas harian melalui peranti elektroensefalografi bukan invasif.

NOIR boleh menyahkod isyarat EEG anda ke dalam perpustakaan kemahiran robot. Ia kini boleh menyelesaikan tugas seperti memasak sukiyaki, menyeterika pakaian, memarut keju, bermain tic-tac-toe, dan juga membelai anjing robot. Sistem modular ini mempunyai keupayaan pembelajaran yang berkuasa dan boleh mengendalikan tugas yang kompleks dan pelbagai dalam kehidupan seharian.

Antaramuka Otak dan Robot (BRI) ialah karya agung seni manusia, sains dan kejuruteraan. Kami telah melihatnya dalam karya fiksyen sains dan seni kreatif yang tidak terkira banyaknya, seperti "The Matrix" dan "Avatar" tetapi benar-benar menyedari BRI tidak mudah dan memerlukan penyelidikan saintifik yang terobosan untuk mencipta peranti yang boleh menyelaras dengan sempurna dengan sistem robotik .

Satu komponen utama untuk sistem sedemikian ialah keupayaan mesin untuk berkomunikasi dengan manusia. Dalam proses kerjasama manusia-mesin dan pembelajaran robot, cara manusia menyampaikan niat mereka termasuk tindakan, menekan butang, pandangan, ekspresi muka, bahasa, dll. Berkomunikasi secara langsung dengan robot melalui isyarat saraf adalah prospek yang paling menarik tetapi juga paling mencabar.

Baru-baru ini, pasukan gabungan pelbagai disiplin yang diketuai oleh Wu Jiajun dan Li Feifei dari Universiti Stanford mencadangkan sistem BRI pintar sejagat NOIR (Robot Pintar Pengendalian Isyarat Neural/Robot Pintar Beroperasi Isyarat Neural).

Alamat kertas: https://openreview.net/pdf?id=eyykI3UIHa

Tapak web projek: https://noir-corl.github.io/

Sistem ini berdasarkan electroencephalography bukan invasif ( teknologi EEG). Menurut laporan, prinsip utama berdasarkan sistem ini ialah autonomi bersama hierarki, iaitu, manusia menentukan matlamat peringkat tinggi, dan robot mencapai matlamat mereka dengan melaksanakan arahan pergerakan peringkat rendah. Sistem ini menggabungkan kemajuan baharu dalam sains saraf, robotik dan pembelajaran mesin untuk mencapai penambahbaikan berbanding kaedah sebelumnya. Pasukan meringkaskan sumbangan yang dibuat.

Pertama sekali, NOIR adalah serba boleh, boleh digunakan untuk pelbagai tugas, dan mudah digunakan oleh komuniti yang berbeza. Penyelidikan menunjukkan bahawa NOIR boleh melengkapkan sehingga 20 aktiviti harian sebagai perbandingan, sistem BRI sebelumnya sering direka untuk satu atau beberapa tugas, atau hanya sistem simulasi. Selain itu, sistem NOIR boleh digunakan oleh penduduk umum dengan latihan yang minimum.

Kedua, I dalam NOIR bermaksud sistem robot adalah pintar dan mempunyai keupayaan penyesuaian. Robot itu dilengkapi dengan repertoir pelbagai kemahiran yang membolehkannya melakukan tindakan peringkat rendah tanpa pengawasan manusia yang intensif. Menggunakan primitif kemahiran berparameter seperti Pick (obj-A) atau MoveTo (x,y), robot secara semula jadi boleh memperoleh, mentafsir dan melaksanakan matlamat tingkah laku manusia.

Selain itu, sistem NOIR juga mempunyai keupayaan untuk mempelajari apa yang manusia ingin capai semasa proses kolaborasi. Penyelidikan menunjukkan bahawa dengan memanfaatkan kemajuan terkini dalam model asas, sistem boleh menyesuaikan diri dengan data yang sangat terhad. Ini boleh meningkatkan kecekapan sistem dengan ketara. Sumbangan teknikal utama

NOIR termasuk aliran kerja modular untuk menyahkod isyarat saraf untuk memahami niat manusia. Anda tahu, menyahkod matlamat yang dimaksudkan manusia daripada isyarat saraf adalah sangat mencabar. Untuk melakukan ini, pendekatan pasukan adalah untuk memecahkan niat manusia kepada tiga komponen utama: objek yang akan dimanipulasi (Apa), cara berinteraksi dengan objek (Bagaimana), dan lokasi interaksi (Di mana). Penyelidikan mereka menunjukkan bahawa isyarat ini boleh dinyahkod daripada pelbagai jenis data saraf. Isyarat terurai ini secara semula jadi boleh sepadan dengan kemahiran robot berparameter dan boleh disampaikan dengan berkesan kepada robot.

Tiga subjek manusia berjaya menggunakan sistem NOIR dalam 20 aktiviti rumah yang melibatkan operasi desktop atau mudah alih (termasuk membuat sukiyaki, menyeterika pakaian, bermain tic-tac-toe, membelai anjing robot, dll.), Iaitu, menyelesaikan tugasan ini melalui isyarat otak mereka!

Eksperimen menunjukkan bahawa dengan menggunakan manusia sebagai guru untuk pembelajaran robot beberapa pukulan, kecekapan sistem NOIR boleh dipertingkatkan dengan ketara. Kaedah menggunakan isyarat otak manusia untuk bekerjasama membina sistem robotik pintar ini mempunyai potensi besar untuk membangunkan teknologi bantuan penting untuk orang ramai, terutamanya mereka yang kurang upaya, untuk meningkatkan kualiti hidup mereka.

Sistem NOIR

Cabaran yang ingin diselesaikan oleh penyelidikan ini termasuk: 1. Bagaimana untuk membina sistem BRI universal yang sesuai untuk pelbagai tugas? 2. Bagaimana untuk menyahkod isyarat komunikasi yang berkaitan dari otak manusia? 3. Bagaimana untuk meningkatkan kecerdasan dan kebolehsuaian robot untuk mencapai kerjasama yang lebih cekap? Rajah 2 memberikan gambaran keseluruhan sistem.

Dalam sistem ini, manusia, sebagai ejen perancangan, melihat, merancang, dan menyampaikan matlamat tingkah laku kepada robot manakala robot menggunakan kemahiran primitif yang telah ditetapkan untuk mencapai matlamat ini.

Untuk mencapai matlamat keseluruhan mewujudkan sistem BRI universal, kedua-dua reka bentuk ini perlu disepadukan secara kolaboratif. Untuk tujuan ini, pasukan mencadangkan aliran kerja penyahkodan isyarat otak baharu dan melengkapkan robot dengan satu set perpustakaan kemahiran asal berparameter. Akhirnya, pasukan itu menggunakan beberapa sampel teknologi pembelajaran tiruan untuk memberikan robot keupayaan pembelajaran yang lebih cekap.

Otak: Aliran kerja penyahkod modular

Seperti yang ditunjukkan dalam Rajah 3, niat manusia akan diuraikan kepada tiga komponen: objek yang akan dimanipulasi (Apa), cara berinteraksi dengan objek (Bagaimana), dan interaksi Di mana .

Menyahkod niat pengguna khusus daripada isyarat EEG bukanlah mudah, tetapi ia boleh dicapai melalui potensi tercetus visual keadaan mantap (SSVEP) dan imejan motor. Secara ringkasnya, proses itu termasuk:

• Pilih objek dengan Potensi Terbangkitkan Visual Keadaan Steady (SSVEP)

• Pilih kemahiran dan parameter melalui Motor Imagery (MI)

• untuk memilih atau mengetatkan antara otot

Robot: Kemahiran primitif berparameter

Kemahiran primitif berparameter boleh digabungkan dan digunakan semula untuk tugas yang berbeza untuk mencapai operasi yang kompleks dan pelbagai. Tambahan pula, kemahiran ini sangat intuitif kepada manusia. Baik manusia mahupun ejen tidak perlu memahami mekanisme kawalan kemahiran ini, jadi orang ramai boleh melaksanakan kemahiran ini melalui sebarang kaedah asalkan ia teguh dan boleh disesuaikan dengan pelbagai tugas.

Pasukan menggunakan dua robot dalam eksperimen: satu ialah lengan robot Franka Emika Panda untuk tugas operasi desktop, dan satu lagi ialah robot PAL Tiago untuk tugas operasi mudah alih. Jadual berikut memberikan kemahiran primitif kedua-dua robot ini.

Menggunakan Pembelajaran Robot untuk BRI yang Cekap

Aliran kerja penyahkodan modular dan perpustakaan kemahiran primitif yang diterangkan di atas meletakkan asas untuk NOIR. Walau bagaimanapun, kecekapan sistem sedemikian boleh dipertingkatkan lagi. Robot seharusnya dapat mempelajari item, kemahiran dan keutamaan pemilihan parameter pengguna semasa proses kerjasama, supaya pada masa hadapan ia boleh meramalkan matlamat yang ingin dicapai oleh pengguna, mencapai automasi yang lebih baik dan menjadikan penyahkodan lebih mudah dan lebih mudah. Memandangkan kedudukan, pose, susunan dan contoh item mungkin berbeza setiap kali ia dilaksanakan, keupayaan pembelajaran dan generalisasi diperlukan. Selain itu, algoritma pembelajaran harus sangat cekap sampel kerana mengumpul data manusia adalah mahal.

Pasukan menggunakan dua kaedah untuk ini: pemilihan item dan kemahiran beberapa sampel berasaskan pengambilan, dan pembelajaran parameter kemahiran sampel tunggal.

Pemilihan item dan kemahiran beberapa sampel berasaskan pengambilan. Kaedah ini boleh mempelajari perwakilan tersirat bagi keadaan yang diperhatikan. Memandangkan keadaan baru yang diperhatikan, ia mendapati keadaan yang paling serupa dan tindakan yang sepadan dalam ruang tersembunyi. Rajah 4 memberikan gambaran keseluruhan pendekatan.

Semasa pelaksanaan misi, titik data yang terdiri daripada imej dan pasangan "kemahiran item" yang dipilih manusia direkodkan. Imej ini mula-mula dikodkan oleh model R3M yang telah terlatih untuk mengekstrak ciri yang berguna untuk tugas manipulasi robot, dan kemudian melalui beberapa lapisan bersambung sepenuhnya yang boleh dilatih. Lapisan ini dilatih menggunakan pembelajaran kontras dengan kehilangan tiga kali ganda, yang menggalakkan imej dengan label kemahiran item yang sama untuk lebih rapat di ruang tersembunyi. Pembenaman imej yang dipelajari dan label "kemahiran item" disimpan dalam ingatan.

Semasa ujian, model mendapatkan semula titik data terdekat dalam ruang tersembunyi dan kemudian mencadangkan pasangan kemahiran item yang dikaitkan dengan titik data itu kepada manusia.

Pembelajaran parameter kemahiran sampel tunggal. Pemilihan parameter memerlukan penglibatan manusia yang meluas, kerana proses tersebut memerlukan operasi kursor yang tepat melalui imejan motor (MI). Untuk mengurangkan beban kerja manusia, pasukan mencadangkan algoritma pembelajaran yang meramalkan parameter yang diberikan pasangan kemahiran item yang digunakan sebagai titik permulaan untuk kawalan kursor. Dengan mengandaikan bahawa pengguna telah berjaya mencari titik penting yang tepat untuk mengambil pemegang cawan, adakah ia perlu menentukan parameter ini sekali lagi pada masa hadapan? Baru-baru ini, model asas seperti DINOv2 telah membuat banyak kemajuan, dan perkara utama semantik yang sepadan boleh ditemui, menghapuskan keperluan untuk menentukan parameter sekali lagi.

Berbanding dengan kerja sebelumnya, algoritma baharu yang dicadangkan di sini ialah sampel tunggal dan meramalkan titik 2D tertentu dan bukannya serpihan semantik. Seperti yang ditunjukkan dalam Rajah 4, diberikan imej latihan (360 × 240) dan pemilihan parameter (x, y), model meramalkan titik sepadan secara semantik dalam imej ujian yang berbeza. Khususnya, pasukan menggunakan model DINOv2 yang telah dilatih untuk mendapatkan ciri semantik.

Percubaan dan keputusan

misi. Tugasan yang dipilih untuk percubaan datang daripada tanda aras TINGKAH LAKU dan Aktiviti Kehidupan Harian, yang boleh mencerminkan keperluan harian manusia pada tahap tertentu. Rajah 1 menunjukkan tugas percubaan, yang merangkumi 16 tugas desktop dan 4 tugas operasi mudah alih.

Contoh proses percubaan untuk membuat sandwic dan menjaga pesakit COVID-19 ditunjukkan di bawah.

Proses eksperimen. Semasa percubaan, pengguna tinggal di dalam bilik terpencil, kekal diam, menonton robot pada skrin dan bergantung semata-mata pada isyarat otak untuk berkomunikasi dengan robot.

Prestasi sistem. Jadual 1 meringkaskan prestasi sistem di bawah dua metrik: bilangan percubaan sebelum kejayaan dan masa untuk menyelesaikan tugasan apabila berjaya.

Walaupun jangka masa panjang dan kesukaran tugasan ini, NOIR mencapai keputusan yang sangat memberangsangkan: secara purata, ia hanya mengambil 1.83 percubaan untuk menyelesaikan tugasan tersebut.

Ketepatan penyahkodan. Ketepatan isyarat otak dinyahkodkan adalah kunci kejayaan sistem NOIR. Jadual 2 meringkaskan ketepatan penyahkodan pada peringkat yang berbeza. Dapat dilihat bahawa CCA (analisis korelasi kanonik) berdasarkan SSVEP boleh mencapai ketepatan yang tinggi iaitu 81.2%, yang bermaksud pemilihan item secara amnya tepat.

Hasil pemilihan item dan kemahiran. Jadi, bolehkah algoritma pembelajaran robot yang baru dicadangkan meningkatkan kecekapan NOIR? Pengkaji terlebih dahulu menilai pembelajaran pemilihan item dan kemahiran. Untuk melakukan ini, mereka mengumpulkan set data luar talian untuk tugas MakePasta, dengan 15 sampel latihan untuk setiap pasangan kemahiran item. Memandangkan imej, apabila item dan kemahiran yang betul diramalkan secara serentak, ramalan itu dianggap betul. Keputusan ditunjukkan dalam Jadual 3.

Model klasifikasi imej ringkas menggunakan ResNet boleh mencapai ketepatan purata 0.31, manakala menggunakan kaedah baharu berdasarkan rangkaian tulang belakang ResNet yang telah terlatih boleh mencapai 0.73 yang lebih tinggi, yang menonjolkan pembelajaran kontrastif dan berasaskan pengambilan semula Kepentingan belajar.

Hasil pembelajaran parameter sampel tunggal. Para penyelidik membandingkan algoritma baharu dengan berbilang penanda aras berdasarkan set data pra-kumpul. Jadual 4 memberikan nilai MSE hasil yang diramalkan.

Mereka juga menunjukkan keberkesanan algoritma pembelajaran parameter dalam pelaksanaan tugas sebenar pada tugas SetTable. Rajah 5 menunjukkan usaha manusia yang disimpan dalam mengawal pergerakan kursor.

Atas ialah kandungan terperinci Kerja baharu pasukan Li Feifei: robot yang dikawal otak melakukan kerja rumah, memberikan antara muka otak-komputer keupayaan untuk belajar dengan beberapa sampel. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!