搜尋
首頁科技週邊人工智慧陪跑又快又穩,機器人跑步搭子來了

這個機器人名叫Cassie,曾經創下百公尺跑世界紀錄。最近,加州大學柏克萊分校的研究者為它開發了一種新的深度強化學習演算法,讓它掌握了急轉彎等技能,還能對抗各種幹擾。

陪跑又快又穩,機器人跑步搭子來了                                             【關注本站影片號,第一時間看到有趣的AI 內容】
關於雙足機器人運動的研究已經進行了幾十年,但仍然沒有一個能夠對各種運動技能進行穩健控制的通用框架。挑戰來自於雙足機器人欠驅動動態的複雜性以及與每種運動技能相關的不同規劃。

研究者希望解決的關鍵問題在於:如何為高維度人體大小的雙足機器人開發解決方案?如何控制多樣化、敏捷和穩健的腿部運動技能,例如行走、跑步和跳躍?

最近的一項研究或許提供了一個不錯的方案。

在這項工作中,來自柏克萊等機構的研究者利用強化學習(RL)為現實世界中的高維非線性雙腳機器人創建控制器,以應對上述挑戰。這些控制器可以利用機器人的本體感覺訊息來適應隨時間變化的不確定動態,同時能夠適應新的環境和設置,利用雙足機器人的敏捷性,在突發情況下表現出穩健的行為。此外,本文框架也提供了再現各種雙足運動技能的通用配方。
陪跑又快又穩,機器人跑步搭子來了
  • 論文標題:Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control
  • #論文鏈接:https://arxiv.org/pdf/2401.16889.pdf

論文細節

#對於控制器來說,扭矩控制人體大小的雙足機器人的高維度和非線性乍似乎是障礙,然而這些特性的優勢在於可以透過機器人的高維動力學實現複雜的敏捷操作。

這項控制器賦予機器人的技能如圖 1 所示,包括穩健的站立、行走、奔跑和跳躍。這些技能還可用於執行各種不同的任務,包括以不同速度和高度行走、以不同速度和方向奔跑以及跳向各種目標,同時在實際部署過程中保持穩健性。為此,研究者利用無模型 RL 讓機器人透過系統全階動態的試誤來學習。除了真實世界的實驗,還深入分析了使用 RL 進行腿部運動控制的好處,並詳細研究如何有效地建立學習過程以利用這些優勢,如適應性和穩健性。
陪跑又快又穩,機器人跑步搭子來了
用於通用雙足運動控制的RL 系統如圖2 所示:
陪跑又快又穩,機器人跑步搭子來了
第四節首先介紹了在運動控制中利用機器人I/O 歷史記錄的重要性,這一節從控制和RL 兩個角度展示了機器人的長期I/O 歷史可以在實時控制過程中實現系統識別和狀態估計。

第五節介紹了研究的核心:一種利用雙足機器人長期和短期 I/O 雙歷史記錄的新型控制架構。具體來說,這種控制架構不僅能利用機器人的長期歷史記錄,還能利用機器人的短期歷史記錄。

控制框架如下圖:
陪跑又快又穩,機器人跑步搭子來了
#在這個雙歷史記錄結構中,長期歷史記錄帶來了適應性(在第八節中得到驗證),短期歷史記錄則透過實現更好的即時控制對長期歷史記錄的利用進行了補充(在第七節中得到驗證)。

第六節介紹如何將由深度神經網路表示的控制策略透過無模型 RL 進行最佳化。鑑於研究者旨在開發一種能夠利用高動態運動技能完成各種任務的控制器,因此這一節中的訓練以多階段模擬訓練為特徵。這種訓練策略提供了一個結構化的課程,首先是單一任務訓練,即機器人專注於一個固定的任務,然後是任務隨機化,使機器人接受的訓練任務多樣化,最後是動態隨機化,改變機器人的動態參數。

策略如下圖所示:
陪跑又快又穩,機器人跑步搭子來了
#這種訓練策略能夠提供一個多功能控制策略,可以執行多種任務,並實現機器人硬體的零樣本遷移。此外,任務隨機化還能透過在不同的學習任務中進行泛化來增強所產生策略的穩健性。

研究表明,這種穩健性可以使機器人對幹擾做出順從的行為,這與動態隨機化帶來的干擾是「正交」的。這一點將在第九節中得到驗證。

利用這個框架,研究者獲得了雙足機器人 Cassie 的行走、跑步和跳躍技能的多功能策略。第十章評估了這些控制策略在現實世界中的有效性。

實驗

#研究者對機器人進行了廣泛的實驗,包括在現實世界中行走、跑步和跳躍等多項能力的測試。所用策略在經過模擬訓練後都能夠有效地控制現實世界中的機器人,而無需進一步調整。

行走實驗

#如圖14a 所示,行走策略展示了對機器人遵循不同指令的有效控制,在整個測試過程中,追蹤誤差相當低(追蹤誤差由MAE 的值來評估)。

此外,機器人策略在較長時間內始終表現良好,即使在325 天和492 天後仍具有保持跟踪可變命令的能力,分別如圖14c 和圖14b 所示。儘管在此期間機器人的動力學發生了顯著的累積變化,但圖 14a 中的同一控制器繼續有效地管理不同的行走任務,並且追蹤誤差的退化最小。
陪跑又快又穩,機器人跑步搭子來了
如圖 15 所示,該研究所使用的策略顯示出對機器人可靠的控制,使機器人能夠準確地追蹤順時針或逆時針的不同轉彎指令。
陪跑又快又穩,機器人跑步搭子來了
快速行走實驗。除了中等行走速度之外,實驗還展示了所用策略控制機器人向前和向後執行快速行走動作的能力,如圖 16 所示。機器人可以從靜止狀態過渡到快速實現向前行走速度,平均速度達到1.14 m/s(追蹤指令中要求1.4 m/s),機器人還能依照指令快速返回站立姿態,如圖16a 所示,數據記錄在圖16c 中。
陪跑又快又穩,機器人跑步搭子來了
在不平坦的地形上(未經訓練),機器人也可以在樓梯或下坡上有效地向後行走,如下圖所示。
陪跑又快又穩,機器人跑步搭子來了
抗擾動。在脈衝擾動的情況下,例如研究者在機器人步行時從各個方向向機器人引入了短時間內的外部擾動。就像圖 18a 中記錄的那樣,在原地行走時向機器人施加相當大的橫向擾動力,橫向速度峰值為 0.5 m/s。儘管有擾動,機器人仍能迅速從橫向偏差中恢復。如圖 18a 所示,機器人熟練地沿著相反的橫向方向移動,有效地補償擾動並恢復其穩定的原地行走步態。
陪跑又快又穩,機器人跑步搭子來了
在持續擾動測試期間,人類對機器人底座施加擾動力量,並沿著隨機方向拖曳機器人,同時命令機器人原地行走。如圖 19a 所展示的,當機器人正常行走時,持續的橫向拖曳力施加到 Cassie 的底座上。結果顯示機器人在不失去平衡的情況下,透過遵循這些外力的方向來表現出對這些外力的順應性。這也顯示了本文提出的基於強化學習的策略在控制雙足機器人以實現安全人機互動等潛在應用的優勢。

跑步實驗

#當機器人使用雙足跑步策略,在2 分34秒內實現了400 公尺衝刺,在27.06 秒內實現了100 公尺衝刺,跑步傾斜度高達10° 等等。

400 公尺短跑:研究首先評估了在標準室外跑道上完成 400 公尺短跑的一般跑步策略,如圖 20 所示。在整個測試過程中,機器人被命令以 3.5 m/s 的速速同時響應由操作員發出的不同轉彎命令。機器人能夠從站立姿態平滑地過渡到跑步步態(圖 20a 1)。機器人設法加速到平均估計運行速度 2.15 m/s,達到峰值估計速度 3.54 m/s,如圖 20b 所示。該策略使機器人成功地在整個 400 公尺跑步過程中始終保持所需的速度,同時準確地遵守不同的轉彎命令。
陪跑又快又穩,機器人跑步搭子來了
在所提出的跑步策略的控制下,Cassie 在 2 分 34 秒內成功完成了 400 公尺衝刺,隨後能夠過渡到站立姿態。

該研究進一步進行了急轉彎測試,其中機器人被給予偏航命令的階躍變化,從0 度直接到90 度,如圖21c 中記錄的。機器人可以回應這樣的步進指令,並在 2 秒 5 步內完成 90 度急轉彎。
陪跑又快又穩,機器人跑步搭子來了
100 公尺短跑:如圖22 所示,透過部署所提出的跑步策略,機器人在大約28 秒內完成了100 公尺短跑,實現了27.06 秒的最快跑步時間。
陪跑又快又穩,機器人跑步搭子來了
跳躍實驗

#透過實驗證明,研究者發現很難訓練機器人在跳躍到高架平台的同時同時轉彎,但所提出的跳躍策略實現了機器人多種不同的雙足跳躍,包括可以跳躍1.4 公尺以及跳到0.44 公尺高架平台上。

跳躍和轉彎:如圖25a 所示,使用單次跳躍策略,機器人能夠執行各種給定的目標跳躍,例如旋轉60° 時原地跳躍、向後跳躍到後方0.3 公尺處著陸等。
陪跑又快又穩,機器人跑步搭子來了
跳躍到高架平台:如圖25b 所示,機器人能夠精確地跳躍到不同位置的目標上,例如前方1 米或前方1.4 米,它還能跳到不同高度的位置,包括跳到0.44 公尺高的地方(考慮到機器人本身只有1.1 公尺高)。

了解更多內容,請參考原文。

以上是陪跑又快又穩,機器人跑步搭子來了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用