Berjalan "anjing" di atas bola yoga! Eureka, dipilih sebagai salah satu daripada sepuluh projek teratas NVIDIA, telah membuat satu kejayaan baharu

Anjing robot berjalan dengan mantap di atas bola yoga, dan keseimbangannya agak baik:

Ia boleh mengendalikan pelbagai adegan, sama ada ia adalah kaki lima yang rata atau halaman yang mencabar, ia boleh memuatkan:

Malah apabila penyelidik menendang bola yoga, anjing robot itu tidak akan terbalik:

Anjing robot juga boleh mengekalkan keseimbangan semasa mengempiskan belon:

Demonstrasi di atas semuanya pada kelajuan 1x, tanpa pemprosesan pecutan.

• Alamat kertas: https://eureka-research.github.io/dr-eureka/assets/dreureka-paper.pdf
• Laman utama projek: https://github.com/eureka- research/DrEureka
• Tajuk kertas: DrEureka: Language Model Guided Sim-To-Real Transfer

Penyelidikan ini dicipta bersama oleh penyelidik dari University of Pennsylvania, NVIDIA, dan University of Texas di Austin , dan merupakan sumber terbuka sepenuhnya. Mereka mencadangkan DrEureka (Domain Randomized Eureka), algoritma baharu yang menggunakan LLM untuk melaksanakan reka bentuk ganjaran dan konfigurasi parameter rawak domain, yang boleh mencapai pemindahan simulasi-ke-realiti secara serentak. Kajian itu menunjukkan keupayaan algoritma DrEureka untuk menyelesaikan tugas robotik baru, seperti mengimbangi robot berkaki empat dan berjalan di atas bola yoga, tanpa memerlukan reka bentuk manual berulang.

DrEureka berdasarkan Eureka, yang turut dinamakan sebagai salah satu daripada sepuluh projek NVIDIA terbaik pada tahun 2023. Untuk mengetahui lebih lanjut tentang Eureka, sila rujuk "Dengan GPT-4, robot telah belajar cara memutar pen dan plat walnut".

Dalam bahagian abstrak kertas kerja, para penyelidik menyatakan bahawa memindahkan strategi yang dipelajari dalam simulasi ke dunia nyata adalah strategi yang menjanjikan untuk pemerolehan kemahiran robot secara besar-besaran. Walau bagaimanapun, pendekatan simulasi-ke-realiti sering bergantung pada reka bentuk manual dan penalaan fungsi ganjaran tugasan dan parameter fizikal simulasi, yang menjadikan proses itu perlahan dan intensif buruh. Kertas kerja ini mengkaji penggunaan model bahasa besar (LLM) untuk mengautomasikan dan mempercepatkan reka bentuk simulasi-ke-realistik.

Jim Fan, salah seorang pengarang kertas kerja dan saintis kanan di NVIDIA, turut mengambil bahagian dalam penyelidikan ini. Sebelum ini, Nvidia menubuhkan makmal AI, diketuai oleh Jim Fan, yang mengkhususkan diri dalam kecerdasan yang terkandung. Jim Fan berkata:

"Kami melatih anjing robot untuk mengimbangi dan berjalan di atas bola yoga. Ini dilakukan sepenuhnya dalam simulasi, dan kemudian dipindahkan ke dunia nyata dengan sampel sifar, tanpa penalaan halus, dan berlari terus . untuk mengawal bola di pelbagai medan , atau malah pergi ke sisi! 4 LLM canggih sedemikian mempunyai banyak intuisi fizikal terbina dalam, termasuk geseran, redaman, kekakuan, graviti, dll. Dengan GPT-4, DrEureka boleh melaraskan parameter ini dengan mahir dan menerangkan alasannya dengan baik 》

Pengenalan kertas

Proses DrEureka adalah seperti berikut, yang menerima arahan tugas dan keselamatan serta kod sumber persekitaran, serta menjalankan Eureka untuk menjana fungsi dan dasar ganjaran yang teratur. Ia kemudiannya menguji strategi di bawah keadaan simulasi yang berbeza untuk membina sebelum fizikal yang sedar ganjaran, yang disalurkan kepada LLM untuk menjana satu set parameter rawak domain (DR). Akhir sekali, dasar ini dilatih menggunakan ganjaran tersintesis dan parameter DR untuk penggunaan sebenar.

Rekaan Ganjaran Eureka. Komponen reka bentuk ganjaran adalah berdasarkan Eureka kerana kesederhanaan dan ekspresifnya, tetapi kertas kerja ini memperkenalkan beberapa penambahbaikan untuk meningkatkan kebolehgunaannya daripada simulasi kepada persekitaran kehidupan sebenar. Pseudokod adalah seperti berikut:

Ganjaran fizik sedar sebelum (RAPP, fizik sedar ganjaran sebelumnya). Fungsi ganjaran keselamatan boleh mengawal tingkah laku dasar untuk menetapkan pilihan persekitaran, tetapi tidak mencukupi dengan sendirinya untuk mencapai pemindahan simulasi kepada realiti. Oleh itu, kertas kerja ini memperkenalkan mekanisme RAPP mudah untuk mengehadkan skop asas LLM.

LLM digunakan untuk rawak domain. Memandangkan julat RAPP untuk setiap parameter DR, langkah terakhir DrEureka mengarahkan LLM untuk menjana konfigurasi rawak domain dalam had julat RAPP. Lihat Rajah 3 untuk proses khusus:

Penyelidikan ini menggunakan Unitree Go1 untuk eksperimen Go1 ialah robot berkaki empat kecil dengan 12 darjah kebebasan dalam empat kakinya. Dalam tugas pergerakan empat kaki, makalah ini juga menilai secara sistematik prestasi dasar DrEureka pada beberapa rupa bumi sebenar dan mendapati bahawa ia kekal teguh dan mengatasi prestasi dasar yang dilatih menggunakan ganjaran rekaan manusia dan konfigurasi DR.

Untuk maklumat lanjut, sila rujuk kertas asal.

Atas ialah kandungan terperinci Berjalan "anjing" di atas bola yoga! Eureka, dipilih sebagai salah satu daripada sepuluh projek teratas NVIDIA, telah membuat satu kejayaan baharu. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!