Teknologi teras Byte AI Lab memenangi Kejohanan Navigasi Aktif Cabaran Habitat 2022, yang menggabungkan kaedah tradisional dengan pembelajaran tiruan.

Navigasi Objek ialah salah satu tugas asas robot pintar. Dalam tugasan ini, robot pintar secara aktif meneroka dan mencari jenis objek tertentu yang ditetapkan oleh manusia dalam persekitaran baharu yang tidak diketahui. Tugas navigasi sasaran objek berorientasikan kepada keperluan aplikasi robot perkhidmatan rumah masa hadapan Apabila orang memerlukan robot untuk menyelesaikan tugasan tertentu, seperti mendapatkan segelas air, robot perlu terlebih dahulu mencari dan bergerak ke lokasi cawan air. , dan kemudian bantu orang ramai mendapatkan cawan air.

Cabaran Habitat dianjurkan bersama oleh Meta AI dan institusi lain Ia merupakan salah satu pertandingan yang terkenal dalam bidang navigasi objek Setakat 2022, ia telah diadakan selama 4 tahun berturut-turut daripada 54 pasukan telah menyertai pertandingan ini. Dalam pertandingan itu, penyelidik dari pasukan ByteDance AI Lab-Research mencadangkan rangka kerja navigasi sasaran objek baharu untuk menangani kelemahan kaedah sedia ada. Rangka kerja ini dengan bijak menggabungkan pembelajaran tiruan dengan kaedah tradisional untuk menonjol daripada orang ramai dan memenangi kejuaraan. Keputusan yang jauh melebihi keputusan tempat kedua dan pasukan lain yang mengambil bahagian dalam SPL metrik utama. Dari segi sejarah, pasukan kejohanan acara ini umumnya merupakan institusi penyelidikan yang terkenal seperti CMU, UC Berkerly, dan Facebook.

Senarai Standard Ujian

Senarai Cabaran Ujian

Laman Web Rasmi Cabaran Habitat : https ://aihabitat.org/challenge/2022/

Papan Pemimpin Pertandingan Cabaran Habitat: https://eval.ai/web/challenges/challenge-page/1615/leaderboard

1 motivasi

Kaedah navigasi sasaran objek semasa boleh dibahagikan secara kasar kepada dua kategori: kaedah hujung ke hujung dan kaedah berasaskan peta. Kaedah hujung-ke-hujung mengekstrak ciri-ciri data penderia input dan kemudian menyuapnya ke dalam model pembelajaran mendalam untuk mendapatkan tindakan kaedah tersebut secara amnya berdasarkan pembelajaran pengukuhan atau pembelajaran tiruan (Rajah 1 Kaedah tanpa peta); -kaedah berasaskan umumnya membina peta eksplisit Atau tersirat, kemudian pilih titik sasaran pada peta melalui pembelajaran pengukuhan dan kaedah lain, dan akhirnya merancang laluan dan mendapatkan tindakan (Rajah 1 Kaedah berasaskan Peta).

Rajah 1 Carta alir kaedah hujung ke hujung (atas) dan kaedah berasaskan peta (bawah)

Selepas banyak eksperimen Selepas membandingkan kedua-dua jenis kaedah, penyelidik mendapati bahawa kedua-dua jenis kaedah mempunyai kelebihan dan kekurangan mereka sendiri: kaedah hujung ke hujung tidak perlu membina peta persekitaran, jadi ia lebih ringkas dan mempunyai keupayaan generalisasi yang lebih kukuh dalam senario yang berbeza. Walau bagaimanapun, kerana rangkaian perlu mempelajari maklumat spatial persekitaran pengekodan, ia bergantung pada sejumlah besar data latihan, dan sukar untuk mempelajari beberapa tingkah laku mudah pada masa yang sama, seperti berhenti berhampiran objek sasaran. Kaedah berasaskan peta menggunakan raster untuk menyimpan ciri atau semantik dan mempunyai maklumat spatial yang jelas, jadi ambang pembelajaran untuk jenis tingkah laku ini lebih rendah. Walau bagaimanapun, ia sangat bergantung pada keputusan kedudukan yang tepat, dan dalam sesetengah persekitaran seperti tangga, reka bentuk tiruan persepsi dan strategi perancangan laluan diperlukan.

Berdasarkan kesimpulan di atas, penyelidik dari pasukan Penyelidikan Makmal ByteDance AI berharap dapat menggabungkan kelebihan kedua-dua kaedah tersebut. Walau bagaimanapun, proses algoritma kedua-dua kaedah ini sangat berbeza dan sukar untuk digabungkan secara langsung di samping itu, ia juga sukar untuk mereka bentuk strategi untuk mengintegrasikan secara langsung output kedua-dua kaedah. Oleh itu, penyelidik mereka bentuk strategi mudah tetapi berkesan yang membolehkan kedua-dua jenis kaedah melakukan penerokaan aktif dan pencarian objek secara bergilir-gilir mengikut status robot, seterusnya memaksimumkan kelebihan masing-masing.

2. Kaedah pertandingan

Algoritma terutamanya terdiri daripada dua cabang: cawangan berasaskan peta kebarangkalian dan cawangan hujung ke hujung. Input algoritma ialah imej RGB-D paparan pertama dan pose robot, serta kategori objek sasaran untuk ditemui, dan output adalah tindakan seterusnya (tindakan). Imej RGB adalah contoh pertama dibahagikan dan dihantar ke kedua-dua cawangan bersama-sama dengan data input mentah yang lain. Kedua-dua cawangan mengeluarkan tindakan mereka sendiri masing-masing, dan strategi pensuisan menentukan tindakan keluaran akhir.

Rajah 2 Carta alir algoritma

Cawangan berasaskan peta kemungkinan

Cawangan berasaskan peta kemungkinan menggunakan idea Peta pemautan semantik[2], berdasarkan kertas asal pengarang yang diterbitkan di Robot IROS Kaedah persidangan[3] telah dipermudahkan. Cawangan ini membina peta semantik 2D berdasarkan hasil pembahagian contoh input, peta kedalaman, dan pose robot sebaliknya, ia mengemas kini peta kebarangkalian berdasarkan kebarangkalian perkaitan yang telah dipelajari antara objek.

Kaedah kemas kini peta kebarangkalian termasuk yang berikut: Apabila objek sasaran dikesan tetapi tidak cukup yakin (skor keyakinan lebih rendah daripada ambang), anda harus terus memerhati lebih dekat pada masa ini, jadi kawasan yang sepadan pada peta kebarangkalian Nilai kebarangkalian perlu ditingkatkan (seperti yang ditunjukkan di bahagian atas Rajah 3 sama, jika objek yang berkaitan dengan objek sasaran dikesan (contohnya, kebarangkalian meja dan kerusi diletakkan bersama adalah agak tinggi), nilai kebarangkalian bagi kawasan yang sepadan juga akan meningkat (Seperti yang ditunjukkan di bawah dalam Rajah 3). Dengan memilih kawasan yang mempunyai kebarangkalian tertinggi sebagai titik sasaran, algoritma menggalakkan robot mendekati objek sasaran yang berpotensi dan objek berkaitan untuk pemerhatian selanjutnya sehingga ia menemui objek sasaran dengan kebarangkalian keyakinan lebih tinggi daripada ambang.

Rajah 3 Gambar rajah skema kaedah kemas kini peta kebarangkalian

Cawangan hujung ke hujung

Input cawangan hujung ke hujung termasuk imej RGB-D, hasil pembahagian contoh, pose robot dan kategori objek sasaran serta tindakan dikeluarkan secara langsung. Fungsi utama cawangan hujung ke hujung adalah untuk membimbing robot mencari objek seperti manusia, jadi model dan proses latihan kaedah Habitat-Web[4] diguna pakai. Kaedah tersebut berdasarkan pembelajaran tiruan, di mana rangkaian dilatih dengan mengumpul contoh manusia mencari objek dalam set latihan.

Strategi penukaran

Strategi pensuisan terutamanya berdasarkan keputusan peta kebarangkalian dan perancangan laluan, memilih salah satu daripada dua tindakan yang dikeluarkan oleh cabang peta kebarangkalian dan cawangan hujung ke hujung sebagai output akhir. Apabila tiada raster dengan kebarangkalian lebih besar daripada ambang dalam peta kebarangkalian, robot perlu meneroka persekitaran apabila laluan yang boleh dilaksanakan tidak dapat dirancang pada peta, robot mungkin berada dalam beberapa persekitaran khas (seperti tangga). Dalam kedua-dua kes, percabangan hujung ke hujung hujung ke hujung membolehkan robot mempunyai kebolehsuaian persekitaran yang mencukupi. Dalam kes lain, cabang peta kebarangkalian dipilih untuk memberikan permainan penuh kepada kelebihannya dalam mencari objek sasaran.

Kesan strategi pensuisan ini ditunjukkan dalam video Robot biasanya menggunakan cawangan hujung ke hujung untuk meneroka persekitaran dengan cekap Sebaik sahaja objek sasaran atau objek berkaitan ditemui, ia beralih kepada cabang peta kebarangkalian untuk pemerhatian yang lebih dekat Jika kebarangkalian keyakinan objek sasaran lebih besar daripada ambang, ia akan berhenti pada objek sasaran jika tidak, nilai kebarangkalian dalam kawasan akan terus berkurangan sehingga tiada grid dengan kebarangkalian yang lebih besar daripada ambang, dan robot akan bertukar kembali ke hujung ke hujung untuk meneruskan penerokaan.

Seperti yang dapat dilihat daripada video, pendekatan ini menggabungkan kelebihan kedua-dua pendekatan hujung ke hujung dan pendekatan berasaskan peta. Kedua-dua cawangan melaksanakan tugas mereka sendiri Kaedah hujung-ke-hujung terutamanya bertanggungjawab untuk menerokai alam sekitar cawangan peta kebarangkalian bertanggungjawab untuk memerhatikan dekat dengan kawasan yang diminati. Oleh itu, kaedah ini bukan sahaja dapat meneroka adegan yang kompleks (seperti tangga), tetapi juga mengurangkan keperluan latihan cawangan hujung ke hujung.

3. Ringkasan

Untuk tugas navigasi sasaran aktif objek, pasukan Penyelidikan Makmal AI ByteDance mencadangkan rangka kerja yang menggabungkan peta kebarangkalian klasik dengan pembelajaran tiruan moden. Rangka kerja ini merupakan percubaan yang berjaya untuk menggabungkan kaedah tradisional dengan pendekatan hujung ke hujung. Dalam pertandingan Habitat, kaedah yang dicadangkan oleh pasukan ByteDance AI Lab-Research dengan ketara melebihi keputusan tempat kedua dan pasukan lain yang mengambil bahagian, membuktikan kemajuan algoritma. Dengan memperkenalkan kaedah tradisional ke dalam kaedah hujung-ke-hujung AI Embodied semasa arus perdana, kami boleh mengimbangi beberapa kelemahan kaedah hujung-ke-hujung, dengan itu menjadikan robot pintar melangkah lebih jauh untuk membantu dan berkhidmat kepada orang ramai.

Baru-baru ini, penyelidikan pasukan ByteDance AI Lab-Research dalam bidang robotik juga telah dimasukkan dalam persidangan robotik teratas seperti CoRL, IROS dan ICRA, termasuk anggaran pose objek, rampasan objek, navigasi sasaran dan automatik pemasangan, interaksi manusia-komputer dan tugas teras robot yang lain.

【CoRL 2022】Anggaran Bentuk dan Pose Peringkat Kategori Generatif dengan Primitif Semantik

• Alamat kertas: https://arxiv.org/abs/2210.01112

【IROS 2022】Penjanaan Pemasangan Bahagian 3D dengan Pengubah Berkod Contoh

• Alamat kertas: https://arxiv.org/abs/2207.01779

02IROS 2 】Menavigasi ke Objek dalam Persekitaran Ghaib mengikut Ramalan Jarak

• Alamat kertas: https://arxiv.org/abs/2202.03735

[EMNLP 2022] Ke Arah Menyatukan Penjanaan dan Kefahaman Ungkapan Rujukan

• Kertas Alamat: https://arxiv.org/pdf/2210.13076

[ICRA 2022] Reka Bentuk dan Pembinaan Pembelajaran dengan Bahan Bersaiz Berpelbagai melalui Penetapan Semula Memori Diutamakan

• Alamat kertas : https://arxiv.org/abs/2204.05509

[IROS 2021] Pembelajaran Semantik dan Perlanggaran Serentak untuk 6-DoF Grasp Pose Estimation

• Alamat kertas: https ://arxiv.org/abs/2108.02425

[IROS 2021] Belajar Merekabentuk dan Membina Jambatan tanpa Pelan Tindakan

• Alamat kertas: https://arxiv.org /abs/2108.02439

4. Rujukan

[1] Yadav, Karmesh, et al. "Semantik 3D Habitat-Matterport."

[2] Zeng, Zhen, Adrian Röfer dan Odest Chadwicke Jenkins "Peta pemautan semantik untuk carian objek visual yang aktif 2020 IEEE International Conference on Robotics and Automation (ICRA, 2020).

[3] Minzhao Zhu, Binglei Zhao, dan Tao Kong "Menavigasi ke Objek dalam Persekitaran Ghaib mengikut Ramalan Jarak." [4] Ramrakhya, Ram, et al. "Habitat-Web: Strategi Carian Objek Terwujud daripada Demonstrasi Manusia pada Skala." 5. Mengenai KamiByteDance AI Lab NLP&Research memfokuskan pada penyelidikan teknologi termaju dalam bidang kecerdasan buatan, meliputi pemprosesan bahasa semula jadi, robotik dan bidang penyelidikan teknikal yang lain. Ia juga komited untuk mempraktikkan hasil penyelidikan untuk Produk dan perniagaan sedia ada syarikat menyediakan sokongan teknikal teras dan perkhidmatan. Keupayaan teknikal pasukan dibuka kepada dunia luar melalui Enjin Volcano, memperkasakan inovasi AI.

ByteDance AI-Lab NLP&Research Maklumat Hubungan

Perundingan pengambilan: fankaijing@bytedance.com

Kerjasama akademik: luomanping@bytedance.com

Atas ialah kandungan terperinci Teknologi teras Byte AI Lab memenangi Kejohanan Navigasi Aktif Cabaran Habitat 2022, yang menggabungkan kaedah tradisional dengan pembelajaran tiruan.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!