Biarkan robot merasakan "Anda di sini", pasukan Tsinghua menggunakan berjuta-juta senario untuk mencipta penyerahan mesin manusia sejagat

Penyelidik dari Institut Maklumat Antara Disiplin Universiti Tsinghua mencadangkan rangka kerja yang dipanggil "GenH2R", yang bertujuan untuk membolehkan robot mempelajari strategi penyerahan mesin manusia berasaskan penglihatan universal. Strategi ini membolehkan robot menangkap pelbagai objek dengan pelbagai bentuk dan trajektori gerakan yang kompleks dengan lebih dipercayai, membawa kemungkinan baharu untuk interaksi manusia-komputer. Penyelidikan ini memberikan satu kejayaan penting untuk pembangunan bidang kecerdasan buatan dan membawa fleksibiliti dan kebolehsuaian yang lebih besar kepada aplikasi robot dalam senario kehidupan sebenar.

Dengan kemunculan era kecerdasan terkandung (Embodied AI), kami mengharapkan badan pintar berinteraksi secara aktif dengan alam sekitar. Dalam proses ini, menjadi penting untuk mengintegrasikan robot ke dalam persekitaran hidup manusia dan berinteraksi dengan manusia (Human Robot Interaction). Kita perlu memikirkan cara untuk memahami tingkah laku dan niat manusia, memenuhi keperluan mereka dengan cara yang paling sesuai dengan jangkaan manusia, dan meletakkan manusia sebagai pusat kecerdasan yang terkandung (Human-Centered Embodied AI). Salah satu kemahiran utama ialah Penyerahan Manusia-ke-Robot Boleh Digeneralisasikan, yang membolehkan robot bekerjasama dengan lebih baik dengan manusia untuk menyelesaikan pelbagai tugas harian biasa, seperti memasak, mengatur rumah dan pemasangan perabot.

Pembangunan model besar yang meletup menunjukkan bahawa data besar-besaran berkualiti tinggi + pembelajaran berskala besar adalah cara yang mungkin untuk bergerak ke arah kecerdasan am Jadi, bolehkah kemahiran penyerahan manusia-mesin secara umum diperolehi melalui data robot besar-besaran dan besar- peniruan strategi skala? Walau bagaimanapun, adalah berbahaya dan mahal untuk membenarkan pembelajaran interaktif berskala besar antara robot dan manusia di dunia nyata, dan mesin itu mungkin membahayakan manusia:

Latih dalam persekitaran simulasi dan gunakan simulasi manusia serta dinamik memahami perancangan gerakan untuk menyediakan sejumlah besar data pembelajaran robot yang pelbagai secara automatik, dan kemudian menggunakan data ini pada robot sebenar Kaedah berasaskan pembelajaran ini dipanggil "Pemindahan Sim-to-Real", yang boleh meningkatkan hubungan antara robot dan sebenar dengan ketara. robot. Keupayaan interaksi kolaboratif antara manusia dengan kebolehpercayaan yang lebih tinggi.

Oleh itu, rangka kerja "GenH2R" telah dicadangkan, bermula dari tiga perspektif: Simulasi, Demonstrasi dan Peniruan, membenarkan robot belajar buat kali pertama secara menyeluruh untuk sebarang kaedah merebut, sebarang trajektori penyerahan dan sebarang geometri objek: 1) Menyediakan berjuta-juta tahap pelbagai senario penyerahan simulasi kompleks yang mudah dijana dalam persekitaran "GenH2R-Sim", 2) Memperkenalkan satu set penjanaan Demonstrasi Pakar automatik proses berdasarkan kolaborasi visi-tindakan, 3) menggunakan kaedah Pembelajaran Tiruan berdasarkan maklumat 4D dan bantuan ramalan (awan titik + masa).

Berbanding dengan kaedah SOTA (CVPR2023 Highlight), purata kadar kejayaan kaedah GenH2R pada pelbagai set ujian meningkat sebanyak 14%, masa dipendekkan sebanyak 13%, dan ia berfungsi dengan lebih mantap dalam eksperimen mesin sebenar.

• Alamat kertas: https://arxiv.org/abs/2401.00929
• Laman utama kertas: https://GenH video: https: //youtu.be/BbphK5QlS1Y
Pengenalan kaedah

Untuk membantu pemain yang belum menyelesaikan tahap, mari kita belajar tentang kaedah penyelesaian teka-teki khusus "Simulation Environment (GenH2R) )".

Untuk menjana set data objek tangan manusia berskala besar berkualiti tinggi, persekitaran GenH2R-Sim memodelkan pemandangan dari segi pose menangkap dan trajektori gerakan.

Dari segi pose menggenggam, GenH2R-Sim memperkenalkan model objek 3D yang kaya daripada ShapeNet, memilih 3266 objek harian yang sesuai untuk penyerahan, dan menggunakan kaedah penjanaan genggaman tangkas (DexGraspNet) untuk menghasilkan sejumlah 100 A adegan berpuluh-puluh beribu-ribu tangan mencengkam objek. Dari segi trajektori gerakan, GenH2R-Sim menggunakan beberapa titik kawalan untuk menjana berbilang lengkung Bézier yang licin, dan memperkenalkan putaran tangan dan objek manusia untuk mensimulasikan pelbagai trajektori gerakan kompleks objek hantaran tangan.

Dalam 1 juta adegan GenH2R-Sim, ia bukan sahaja jauh melebihi kerja terkini dari segi trajektori gerakan (1,000 vs 1 juta) dan bilangan objek (20 vs 3266), tetapi juga memperkenalkan kaedah yang hampir dengan situasi sebenar. maklumat interaktif (contohnya, apabila lengan robot cukup dekat dengan objek, orang itu akan bekerjasama untuk menghentikan pergerakan dan menunggu penyerahan selesai), bukannya main balik trajektori yang mudah. Walaupun data yang dijana melalui simulasi tidak boleh realistik sepenuhnya, keputusan eksperimen menunjukkan bahawa data simulasi berskala besar lebih kondusif untuk pembelajaran berbanding data sebenar berskala kecil.

B. Penjanaan contoh pakar berskala besar yang memudahkan penyulingan

Berdasarkan data trajektori gerakan tangan manusia dan objek berskala besar, GenH2R menjana sejumlah besar contoh pakar. "Pakar" yang dicari oleh GenH2R ialah Perancang Pergerakan yang dipertingkatkan (seperti Perancang OMG, kaedah ini bukan pembelajaran, pengoptimuman berasaskan kawalan, tidak bergantung pada awan titik visual dan selalunya memerlukan beberapa keadaan pemandangan (seperti kedudukan meraih sasaran). daripada objek). Untuk memastikan bahawa rangkaian dasar visual seterusnya dapat menyaring maklumat yang bermanfaat untuk pembelajaran, kuncinya adalah untuk memastikan bahawa contoh yang diberikan oleh "pakar" mempunyai korelasi visi-tindakan. Jika titik pendaratan terakhir diketahui semasa perancangan, lengan robot boleh mengabaikan penglihatan dan terus merancang ke kedudukan akhir untuk "tunggu dan tunggu". Ini boleh menyebabkan kamera robot tidak dapat melihat objek rangkaian strategi visual hiliran; Dan jika lengan robot sering dirancang semula berdasarkan kedudukan objek, ia boleh menyebabkan lengan robot bergerak secara tidak berterusan dan muncul dalam bentuk yang pelik, menjadikannya mustahil untuk menyelesaikan genggaman yang munasabah.

Untuk menjana contoh pakar mesra Penyulingan, GenH2R memperkenalkan Perancangan Mercu Tanda. Trajektori pergerakan tangan manusia akan dibahagikan kepada beberapa segmen mengikut kelancaran dan jarak trajektori, dengan Landmark sebagai tanda segmentasi. Dalam setiap segmen, trajektori tangan manusia adalah lancar dan kaedah pakar merancang ke arah titik Mercu Tanda. Pendekatan ini menjamin kedua-dua korelasi tindakan visual dan kesinambungan tindakan. Rangkaian pembelajaran tiruan 4D berbantukan ramalan penguraian geometri dan kinematik. Untuk setiap awan titik bingkai, transformasi pose antara awan titik bingkai sebelumnya dan algoritma titik terdekat berulang dikira untuk menganggarkan maklumat aliran setiap titik, supaya awan titik setiap bingkai Semua mempunyai ciri pergerakan. Kemudian, gunakan PointNet++ untuk mengekod setiap bingkai awan titik Akhir sekali, ia bukan sahaja menyahkod tindakan egosentrik 6D yang diperlukan, tetapi juga mengeluarkan ramalan tambahan pose masa depan objek, meningkatkan keupayaan rangkaian dasar untuk meramalkan pergerakan tangan dan objek masa hadapan.

Berbeza dengan Tulang Belakang 4D yang lebih kompleks (seperti berasaskan Transformer), kelajuan penaakulan seni bina rangkaian ini sangat pantas, dan ia lebih sesuai untuk senario interaksi manusia-komputer seperti penyerahan objek yang memerlukan kependaman rendah Pada masa yang sama, ia juga boleh menggunakan maklumat pemasaan dengan berkesan, mencapai keseimbangan antara kesederhanaan dan keberkesanan.

experiment

a. -data simulasi berskala untuk latihan boleh mencapai kelebihan yang ketara (kadar kejayaan pada pelbagai set ujian meningkat secara purata 14% dan masa dipendekkan sebanyak 13%).

Dalam set ujian data sebenar s0, kaedah GenH2R boleh berjaya menyerahkan objek yang lebih kompleks, dan boleh melaraskan postur terlebih dahulu untuk mengelakkan pelarasan postur yang kerap apabila penggenggam dekat dengan objek:

Dalam set ujian data simulasi t0 (diperkenalkan oleh GenH2R-sim), kaedah GenH2R boleh meramalkan postur masa depan objek untuk mencapai trajektori pendekatan yang lebih munasabah:

Dalam set ujian data sebenar t1 ( GenH2R -sim telah diperkenalkan daripada HOI4D (kira-kira 7 kali lebih besar daripada set ujian s0 kerja sebelumnya), kaedah GenH2R boleh digeneralisasikan kepada objek dunia nyata yang tidak kelihatan dengan geometri yang berbeza.

B. Percubaan mesin sebenar

GenH2R juga menggunakan strategi yang dipelajari ke lengan robot di dunia nyata untuk melengkapkan lompatan "sim-to-real".

Untuk trajektori gerakan yang lebih kompleks (seperti putaran), strategi GenH2R menunjukkan kebolehsuaian yang lebih kuat; untuk geometri yang lebih kompleks, kaedah GenH2R boleh menunjukkan generalisasi yang lebih kukuh:

2 telah menyelesaikan ujian mesin dan pengguna GenH2R yang sebenar pelbagai objek penyerahan, menunjukkan keteguhan yang kuat.

Untuk lebih banyak eksperimen dan kaedah, sila rujuk halaman utama kertas.

Pengenalan pasukan

Kertas kerja ini berasal dari Makmal 3DVICI Universiti Tsinghua, Makmal Kepintaran Buatan Shanghai dan Institut Penyelidikan Qizhi Shanghai -pengarang), Chen Ziqing dan Xie Pengwei, pengajarnya ialah Yi Li dan Chen Rui.

Makmal Pengkomputeran Visi 3D dan Makmal Perisikan Mesin Universiti Tsinghua (dirujuk sebagai Makmal 3DVICI) ialah makmal kecerdasan buatan di bawah Institut Maklumat Antara Disiplin Universiti Tsinghua Ia ditubuhkan dan diarahkan oleh Profesor Yi Li. 3DVICI Lab menyasarkan kepada isu-isu termaju penglihatan tiga dimensi am dan interaksi robot pintar dalam kecerdasan buatan Arah penyelidikannya meliputi persepsi yang terkandung, perancangan dan penjanaan interaksi, kerjasama manusia-mesin, dsb., dan berkait rapat dengan aplikasi. bidang seperti robotik, realiti maya dan pemanduan autonomi. Matlamat penyelidikan pasukan adalah untuk membolehkan ejen pintar memahami dan berinteraksi dengan dunia tiga dimensi Hasilnya telah diterbitkan dalam persidangan dan jurnal komputer utama.

Atas ialah kandungan terperinci Biarkan robot merasakan "Anda di sini", pasukan Tsinghua menggunakan berjuta-juta senario untuk mencipta penyerahan mesin manusia sejagat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!