搜尋
首頁科技週邊人工智慧攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

跑酷是一項極限運動,對機器人特別是四足機器狗來說,更是一項巨大的挑戰,需要在複雜的環境中快速克服各種障礙。一些研究嘗試使用參考動物數據或複雜的獎勵,但這些方法產生的「跑酷」技能要么多樣但盲目,要么基於視覺但特定於場景。然而,自主跑酷需要機器人學習基於視覺且多樣化的通用技能,以感知各種場景並迅速做出反應。

最近,一個機器狗跑酷的影片火了,影片中的機器狗在多種場景中迅速克服了各種障礙。例如,從鐵板下方的縫隙穿過,爬上木箱,再跳到另一個木箱上,一連串動作行雲流水:

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

##這串動作說明機器狗已經掌握了貼地爬行、攀爬和跳躍三個基本技能

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

#它還有一個特殊的技能:能夠傾斜擠過狹窄的縫隙

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

如果機器狗未能克服障礙,它會多試幾次:

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

#該內容已經被重寫成中文: 這款機器狗是基於一種為低成本機器人研發的「跑酷」技能學習框架。此框架由上海期智研究院、史丹佛大學、上海科技大學、CMU和清華大學的研究者共同提出,其研究論文已入選CoRL 2023(Oral)。本研究計畫已開源

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

論文網址:https://arxiv.org/abs/2309.05665

#計畫地址:https://github.com/ZiwenZhuang/parkour

#方法簡介

該研究推出了一種新的開源系統,用於學習基於視覺的端到端跑酷策略,以使用簡單的獎勵來學習多種跑酷技能,而無需任何參考運動數據。

具體來說,這項研究提出了一種強化學習方法,旨在讓機器人學會攀爬高障礙、跳過大間隙、在低障礙下爬行、擠過狹小縫隙和跑步等技能,並將這些技能轉化為基於單一視覺的跑酷策略。同時,透過使用以自我為中心的深度相機,將這些技能遷移到四足機器人上

#為了在低成本機器人上成功部署該研究提出的跑酷策略,只需使用機載計算(Nvidia Jetson)、機載深度攝影機(Intel Realsense)和機載電源,而不需要動作捕捉、雷射雷達、多個深度攝影機和大量計算

為了訓練跑酷策略,研究共進行如下三個階段的工作:

第一階段:強化學習預訓練,具備軟動態限制。研究採用自動課程讓機器人學習穿越障礙物,鼓勵機器人逐漸學會克服障礙

第二階段:具有 hard 動態限制的強化學習微調。研究在這個階段強制執行所有動態約束,並用現實動態(realistic dynamics)微調機器人在預訓練階段學到的行為。

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

第三階段:蒸餾。在學習了每個單獨的跑酷技能後,該研究使用DAgger 將它們蒸餾成一個基於視覺的跑酷策略(由RNN 參數化),該策略可以僅使用機載感知和計算部署到腿式機器人上。

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了


實驗及結果

在訓練中,該研究為每種技能設定了相應的障礙物尺寸,如下表1 所示:

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

該研究進行了大量的模擬和現實實驗,結果表明,跑酷策略使低成本四足機器人能夠自主選擇和執行適當的跑酷技能,僅使用機載計算、機載視覺感測和機載電源即可穿越開放世界中具有挑戰性的環境,包括爬高0.40m(1.53x 機器人高度)的障礙物,跳過0.60m(1.5x 機器人長度)的大間隙,在0.2m(0.76x 機器人高度)的低障礙物下爬行,透過傾斜擠過0.28m 的細縫(小於機器人寬度),可以一直跑步前進。

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

此外,研究也對所提出的方法與幾個基準方法進行了比較,並在模擬環境中進行了消融實驗。具體結果如表2所示:

攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了

如有興趣的讀者可閱讀原始論文,以深入了解更多研究內容

#

以上是攀爬、跳躍、過窄縫,開源強化學習策略讓機器狗跑酷了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
讓我們跳舞:結構化運動以微調我們的人類神經網讓我們跳舞:結構化運動以微調我們的人類神經網Apr 27, 2025 am 11:09 AM

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

新的Google洩漏揭示了雙子AI的訂閱更改新的Google洩漏揭示了雙子AI的訂閱更改Apr 27, 2025 am 11:08 AM

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

數據分析加速度如何求解AI的隱藏瓶頸數據分析加速度如何求解AI的隱藏瓶頸Apr 27, 2025 am 11:07 AM

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

Markitdown MCP可以將任何文檔轉換為Markdowns!Markitdown MCP可以將任何文檔轉換為Markdowns!Apr 27, 2025 am 09:47 AM

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

如何使用Google ADK進行建築代理? - 分析Vidhya如何使用Google ADK進行建築代理? - 分析VidhyaApr 27, 2025 am 09:42 AM

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

在LLM上使用SLM進行有效解決問題-Analytics Vidhya在LLM上使用SLM進行有效解決問題-Analytics VidhyaApr 27, 2025 am 09:27 AM

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

如何將Google Gemini模型用於計算機視覺任務? - 分析Vidhya如何將Google Gemini模型用於計算機視覺任務? - 分析VidhyaApr 27, 2025 am 09:26 AM

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Gemini 2.0 Flash vs O4-Mini:Google可以比OpenAI更好嗎?Apr 27, 2025 am 09:20 AM

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

PhpStorm Mac 版本

PhpStorm Mac 版本

最新(2018.2.1 )專業的PHP整合開發工具