搜尋
首頁科技週邊人工智慧陪跑又快又穩,機器人跑步搭子來了

這個機器人名叫Cassie,曾經創下百公尺跑世界紀錄。最近,加州大學柏克萊分校的研究者為它開發了一種新的深度強化學習演算法,讓它掌握了急轉彎等技能,還能對抗各種幹擾。

陪跑又快又穩,機器人跑步搭子來了                                             【關注本站影片號,第一時間看到有趣的AI 內容】
關於雙足機器人運動的研究已經進行了幾十年,但仍然沒有一個能夠對各種運動技能進行穩健控制的通用框架。挑戰來自於雙足機器人欠驅動動態的複雜性以及與每種運動技能相關的不同規劃。

研究者希望解決的關鍵問題在於:如何為高維度人體大小的雙足機器人開發解決方案?如何控制多樣化、敏捷和穩健的腿部運動技能,例如行走、跑步和跳躍?

最近的一項研究或許提供了一個不錯的方案。

在這項工作中,來自柏克萊等機構的研究者利用強化學習(RL)為現實世界中的高維非線性雙腳機器人創建控制器,以應對上述挑戰。這些控制器可以利用機器人的本體感覺訊息來適應隨時間變化的不確定動態,同時能夠適應新的環境和設置,利用雙足機器人的敏捷性,在突發情況下表現出穩健的行為。此外,本文框架也提供了再現各種雙足運動技能的通用配方。
陪跑又快又穩,機器人跑步搭子來了
  • 論文標題:Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control
  • #論文鏈接:https://arxiv.org/pdf/2401.16889.pdf

論文細節

#對於控制器來說,扭矩控制人體大小的雙足機器人的高維度和非線性乍似乎是障礙,然而這些特性的優勢在於可以透過機器人的高維動力學實現複雜的敏捷操作。

這項控制器賦予機器人的技能如圖 1 所示,包括穩健的站立、行走、奔跑和跳躍。這些技能還可用於執行各種不同的任務,包括以不同速度和高度行走、以不同速度和方向奔跑以及跳向各種目標,同時在實際部署過程中保持穩健性。為此,研究者利用無模型 RL 讓機器人透過系統全階動態的試誤來學習。除了真實世界的實驗,還深入分析了使用 RL 進行腿部運動控制的好處,並詳細研究如何有效地建立學習過程以利用這些優勢,如適應性和穩健性。
陪跑又快又穩,機器人跑步搭子來了
用於通用雙足運動控制的RL 系統如圖2 所示:
陪跑又快又穩,機器人跑步搭子來了
第四節首先介紹了在運動控制中利用機器人I/O 歷史記錄的重要性,這一節從控制和RL 兩個角度展示了機器人的長期I/O 歷史可以在實時控制過程中實現系統識別和狀態估計。

第五節介紹了研究的核心:一種利用雙足機器人長期和短期 I/O 雙歷史記錄的新型控制架構。具體來說,這種控制架構不僅能利用機器人的長期歷史記錄,還能利用機器人的短期歷史記錄。

控制框架如下圖:
陪跑又快又穩,機器人跑步搭子來了
#在這個雙歷史記錄結構中,長期歷史記錄帶來了適應性(在第八節中得到驗證),短期歷史記錄則透過實現更好的即時控制對長期歷史記錄的利用進行了補充(在第七節中得到驗證)。

第六節介紹如何將由深度神經網路表示的控制策略透過無模型 RL 進行最佳化。鑑於研究者旨在開發一種能夠利用高動態運動技能完成各種任務的控制器,因此這一節中的訓練以多階段模擬訓練為特徵。這種訓練策略提供了一個結構化的課程,首先是單一任務訓練,即機器人專注於一個固定的任務,然後是任務隨機化,使機器人接受的訓練任務多樣化,最後是動態隨機化,改變機器人的動態參數。

策略如下圖所示:
陪跑又快又穩,機器人跑步搭子來了
#這種訓練策略能夠提供一個多功能控制策略,可以執行多種任務,並實現機器人硬體的零樣本遷移。此外,任務隨機化還能透過在不同的學習任務中進行泛化來增強所產生策略的穩健性。

研究表明,這種穩健性可以使機器人對幹擾做出順從的行為,這與動態隨機化帶來的干擾是「正交」的。這一點將在第九節中得到驗證。

利用這個框架,研究者獲得了雙足機器人 Cassie 的行走、跑步和跳躍技能的多功能策略。第十章評估了這些控制策略在現實世界中的有效性。

實驗

#研究者對機器人進行了廣泛的實驗,包括在現實世界中行走、跑步和跳躍等多項能力的測試。所用策略在經過模擬訓練後都能夠有效地控制現實世界中的機器人,而無需進一步調整。

行走實驗

#如圖14a 所示,行走策略展示了對機器人遵循不同指令的有效控制,在整個測試過程中,追蹤誤差相當低(追蹤誤差由MAE 的值來評估)。

此外,機器人策略在較長時間內始終表現良好,即使在325 天和492 天後仍具有保持跟踪可變命令的能力,分別如圖14c 和圖14b 所示。儘管在此期間機器人的動力學發生了顯著的累積變化,但圖 14a 中的同一控制器繼續有效地管理不同的行走任務,並且追蹤誤差的退化最小。
陪跑又快又穩,機器人跑步搭子來了
如圖 15 所示,該研究所使用的策略顯示出對機器人可靠的控制,使機器人能夠準確地追蹤順時針或逆時針的不同轉彎指令。
陪跑又快又穩,機器人跑步搭子來了
快速行走實驗。除了中等行走速度之外,實驗還展示了所用策略控制機器人向前和向後執行快速行走動作的能力,如圖 16 所示。機器人可以從靜止狀態過渡到快速實現向前行走速度,平均速度達到1.14 m/s(追蹤指令中要求1.4 m/s),機器人還能依照指令快速返回站立姿態,如圖16a 所示,數據記錄在圖16c 中。
陪跑又快又穩,機器人跑步搭子來了
在不平坦的地形上(未經訓練),機器人也可以在樓梯或下坡上有效地向後行走,如下圖所示。
陪跑又快又穩,機器人跑步搭子來了
抗擾動。在脈衝擾動的情況下,例如研究者在機器人步行時從各個方向向機器人引入了短時間內的外部擾動。就像圖 18a 中記錄的那樣,在原地行走時向機器人施加相當大的橫向擾動力,橫向速度峰值為 0.5 m/s。儘管有擾動,機器人仍能迅速從橫向偏差中恢復。如圖 18a 所示,機器人熟練地沿著相反的橫向方向移動,有效地補償擾動並恢復其穩定的原地行走步態。
陪跑又快又穩,機器人跑步搭子來了
在持續擾動測試期間,人類對機器人底座施加擾動力量,並沿著隨機方向拖曳機器人,同時命令機器人原地行走。如圖 19a 所展示的,當機器人正常行走時,持續的橫向拖曳力施加到 Cassie 的底座上。結果顯示機器人在不失去平衡的情況下,透過遵循這些外力的方向來表現出對這些外力的順應性。這也顯示了本文提出的基於強化學習的策略在控制雙足機器人以實現安全人機互動等潛在應用的優勢。

跑步實驗

#當機器人使用雙足跑步策略,在2 分34秒內實現了400 公尺衝刺,在27.06 秒內實現了100 公尺衝刺,跑步傾斜度高達10° 等等。

400 公尺短跑:研究首先評估了在標準室外跑道上完成 400 公尺短跑的一般跑步策略,如圖 20 所示。在整個測試過程中,機器人被命令以 3.5 m/s 的速速同時響應由操作員發出的不同轉彎命令。機器人能夠從站立姿態平滑地過渡到跑步步態(圖 20a 1)。機器人設法加速到平均估計運行速度 2.15 m/s,達到峰值估計速度 3.54 m/s,如圖 20b 所示。該策略使機器人成功地在整個 400 公尺跑步過程中始終保持所需的速度,同時準確地遵守不同的轉彎命令。
陪跑又快又穩,機器人跑步搭子來了
在所提出的跑步策略的控制下,Cassie 在 2 分 34 秒內成功完成了 400 公尺衝刺,隨後能夠過渡到站立姿態。

該研究進一步進行了急轉彎測試,其中機器人被給予偏航命令的階躍變化,從0 度直接到90 度,如圖21c 中記錄的。機器人可以回應這樣的步進指令,並在 2 秒 5 步內完成 90 度急轉彎。
陪跑又快又穩,機器人跑步搭子來了
100 公尺短跑:如圖22 所示,透過部署所提出的跑步策略,機器人在大約28 秒內完成了100 公尺短跑,實現了27.06 秒的最快跑步時間。
陪跑又快又穩,機器人跑步搭子來了
跳躍實驗

#透過實驗證明,研究者發現很難訓練機器人在跳躍到高架平台的同時同時轉彎,但所提出的跳躍策略實現了機器人多種不同的雙足跳躍,包括可以跳躍1.4 公尺以及跳到0.44 公尺高架平台上。

跳躍和轉彎:如圖25a 所示,使用單次跳躍策略,機器人能夠執行各種給定的目標跳躍,例如旋轉60° 時原地跳躍、向後跳躍到後方0.3 公尺處著陸等。
陪跑又快又穩,機器人跑步搭子來了
跳躍到高架平台:如圖25b 所示,機器人能夠精確地跳躍到不同位置的目標上,例如前方1 米或前方1.4 米,它還能跳到不同高度的位置,包括跳到0.44 公尺高的地方(考慮到機器人本身只有1.1 公尺高)。

了解更多內容,請參考原文。

以上是陪跑又快又穩,機器人跑步搭子來了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
代理抹布系統如何改變技術?代理抹布系統如何改變技術?Apr 12, 2025 am 09:21 AM

介紹 人工智能進入了一個新時代。模型將基於預定義的規則輸出信息的日子已經一去不復返了。當今AI中的尖端方法圍繞抹布(檢索-Aigmente)

SQL自動生成查詢助手SQL自動生成查詢助手Apr 12, 2025 am 09:13 AM

您是否希望您可以簡單地與數據庫交談,用簡單的語言提出問題,並在不編寫複雜的SQL查詢或通過電子表格進行分類的情況下獲得即時答案?使用Langchain的SQL工具包,Groq A

閱讀AI索引2025:AI是您的朋友,敵人還是副駕駛?閱讀AI索引2025:AI是您的朋友,敵人還是副駕駛?Apr 11, 2025 pm 12:13 PM

斯坦福大學以人為本人工智能研究所發布的《2025年人工智能指數報告》對正在進行的人工智能革命進行了很好的概述。讓我們用四個簡單的概念來解讀它:認知(了解正在發生的事情)、欣賞(看到好處)、接納(面對挑戰)和責任(弄清我們的責任)。 認知:人工智能無處不在,並且發展迅速 我們需要敏銳地意識到人工智能發展和傳播的速度有多快。人工智能係統正在不斷改進,在數學和復雜思維測試中取得了優異的成績,而就在一年前,它們還在這些測試中慘敗。想像一下,人工智能解決複雜的編碼問題或研究生水平的科學問題——自2023年

開始使用Meta Llama 3.2 -Analytics Vidhya開始使用Meta Llama 3.2 -Analytics VidhyaApr 11, 2025 pm 12:04 PM

Meta的Llama 3.2:多模式和移動AI的飛躍 Meta最近公佈了Llama 3.2,這是AI的重大進步,具有強大的視覺功能和針對移動設備優化的輕量級文本模型。 以成功為基礎

AV字節:Meta' llama 3.2,Google的雙子座1.5等AV字節:Meta' llama 3.2,Google的雙子座1.5等Apr 11, 2025 pm 12:01 PM

本週的AI景觀:進步,道德考慮和監管辯論的旋風。 OpenAI,Google,Meta和Microsoft等主要參與者已經釋放了一系列更新,從開創性的新車型到LE的關鍵轉變

與機器交談的人類成本:聊天機器人真的可以在乎嗎?與機器交談的人類成本:聊天機器人真的可以在乎嗎?Apr 11, 2025 pm 12:00 PM

連接的舒適幻想:我們在與AI的關係中真的在蓬勃發展嗎? 這個問題挑戰了麻省理工學院媒體實驗室“用AI(AHA)”研討會的樂觀語氣。事件展示了加油

了解Python的Scipy圖書館了解Python的Scipy圖書館Apr 11, 2025 am 11:57 AM

介紹 想像一下,您是科學家或工程師解決複雜問題 - 微分方程,優化挑戰或傅立葉分析。 Python的易用性和圖形功能很有吸引力,但是這些任務需要強大的工具

3種運行Llama 3.2的方法-Analytics Vidhya3種運行Llama 3.2的方法-Analytics VidhyaApr 11, 2025 am 11:56 AM

Meta's Llama 3.2:多式聯運AI強力 Meta的最新多模式模型Llama 3.2代表了AI的重大進步,具有增強的語言理解力,提高的準確性和出色的文本生成能力。 它的能力t

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。