搜尋
首頁科技週邊人工智慧陪跑又快又穩,機器人跑步搭子來了

這個機器人名叫Cassie,曾經創下百公尺跑世界紀錄。最近,加州大學柏克萊分校的研究者為它開發了一種新的深度強化學習演算法,讓它掌握了急轉彎等技能,還能對抗各種幹擾。

陪跑又快又穩,機器人跑步搭子來了                                             【關注本站影片號,第一時間看到有趣的AI 內容】
關於雙足機器人運動的研究已經進行了幾十年,但仍然沒有一個能夠對各種運動技能進行穩健控制的通用框架。挑戰來自於雙足機器人欠驅動動態的複雜性以及與每種運動技能相關的不同規劃。

研究者希望解決的關鍵問題在於:如何為高維度人體大小的雙足機器人開發解決方案?如何控制多樣化、敏捷和穩健的腿部運動技能,例如行走、跑步和跳躍?

最近的一項研究或許提供了一個不錯的方案。

在這項工作中,來自柏克萊等機構的研究者利用強化學習(RL)為現實世界中的高維非線性雙腳機器人創建控制器,以應對上述挑戰。這些控制器可以利用機器人的本體感覺訊息來適應隨時間變化的不確定動態,同時能夠適應新的環境和設置,利用雙足機器人的敏捷性,在突發情況下表現出穩健的行為。此外,本文框架也提供了再現各種雙足運動技能的通用配方。
陪跑又快又穩,機器人跑步搭子來了
  • 論文標題:Reinforcement Learning for Versatile, Dynamic, and Robust Bipedal Locomotion Control
  • #論文鏈接:https://arxiv.org/pdf/2401.16889.pdf

論文細節

#對於控制器來說,扭矩控制人體大小的雙足機器人的高維度和非線性乍似乎是障礙,然而這些特性的優勢在於可以透過機器人的高維動力學實現複雜的敏捷操作。

這項控制器賦予機器人的技能如圖 1 所示,包括穩健的站立、行走、奔跑和跳躍。這些技能還可用於執行各種不同的任務,包括以不同速度和高度行走、以不同速度和方向奔跑以及跳向各種目標,同時在實際部署過程中保持穩健性。為此,研究者利用無模型 RL 讓機器人透過系統全階動態的試誤來學習。除了真實世界的實驗,還深入分析了使用 RL 進行腿部運動控制的好處,並詳細研究如何有效地建立學習過程以利用這些優勢,如適應性和穩健性。
陪跑又快又穩,機器人跑步搭子來了
用於通用雙足運動控制的RL 系統如圖2 所示:
陪跑又快又穩,機器人跑步搭子來了
第四節首先介紹了在運動控制中利用機器人I/O 歷史記錄的重要性,這一節從控制和RL 兩個角度展示了機器人的長期I/O 歷史可以在實時控制過程中實現系統識別和狀態估計。

第五節介紹了研究的核心:一種利用雙足機器人長期和短期 I/O 雙歷史記錄的新型控制架構。具體來說,這種控制架構不僅能利用機器人的長期歷史記錄,還能利用機器人的短期歷史記錄。

控制框架如下圖:
陪跑又快又穩,機器人跑步搭子來了
#在這個雙歷史記錄結構中,長期歷史記錄帶來了適應性(在第八節中得到驗證),短期歷史記錄則透過實現更好的即時控制對長期歷史記錄的利用進行了補充(在第七節中得到驗證)。

第六節介紹如何將由深度神經網路表示的控制策略透過無模型 RL 進行最佳化。鑑於研究者旨在開發一種能夠利用高動態運動技能完成各種任務的控制器,因此這一節中的訓練以多階段模擬訓練為特徵。這種訓練策略提供了一個結構化的課程,首先是單一任務訓練,即機器人專注於一個固定的任務,然後是任務隨機化,使機器人接受的訓練任務多樣化,最後是動態隨機化,改變機器人的動態參數。

策略如下圖所示:
陪跑又快又穩,機器人跑步搭子來了
#這種訓練策略能夠提供一個多功能控制策略,可以執行多種任務,並實現機器人硬體的零樣本遷移。此外,任務隨機化還能透過在不同的學習任務中進行泛化來增強所產生策略的穩健性。

研究表明,這種穩健性可以使機器人對幹擾做出順從的行為,這與動態隨機化帶來的干擾是「正交」的。這一點將在第九節中得到驗證。

利用這個框架,研究者獲得了雙足機器人 Cassie 的行走、跑步和跳躍技能的多功能策略。第十章評估了這些控制策略在現實世界中的有效性。

實驗

#研究者對機器人進行了廣泛的實驗,包括在現實世界中行走、跑步和跳躍等多項能力的測試。所用策略在經過模擬訓練後都能夠有效地控制現實世界中的機器人,而無需進一步調整。

行走實驗

#如圖14a 所示,行走策略展示了對機器人遵循不同指令的有效控制,在整個測試過程中,追蹤誤差相當低(追蹤誤差由MAE 的值來評估)。

此外,機器人策略在較長時間內始終表現良好,即使在325 天和492 天後仍具有保持跟踪可變命令的能力,分別如圖14c 和圖14b 所示。儘管在此期間機器人的動力學發生了顯著的累積變化,但圖 14a 中的同一控制器繼續有效地管理不同的行走任務,並且追蹤誤差的退化最小。
陪跑又快又穩,機器人跑步搭子來了
如圖 15 所示,該研究所使用的策略顯示出對機器人可靠的控制,使機器人能夠準確地追蹤順時針或逆時針的不同轉彎指令。
陪跑又快又穩,機器人跑步搭子來了
快速行走實驗。除了中等行走速度之外,實驗還展示了所用策略控制機器人向前和向後執行快速行走動作的能力,如圖 16 所示。機器人可以從靜止狀態過渡到快速實現向前行走速度,平均速度達到1.14 m/s(追蹤指令中要求1.4 m/s),機器人還能依照指令快速返回站立姿態,如圖16a 所示,數據記錄在圖16c 中。
陪跑又快又穩,機器人跑步搭子來了
在不平坦的地形上(未經訓練),機器人也可以在樓梯或下坡上有效地向後行走,如下圖所示。
陪跑又快又穩,機器人跑步搭子來了
抗擾動。在脈衝擾動的情況下,例如研究者在機器人步行時從各個方向向機器人引入了短時間內的外部擾動。就像圖 18a 中記錄的那樣,在原地行走時向機器人施加相當大的橫向擾動力,橫向速度峰值為 0.5 m/s。儘管有擾動,機器人仍能迅速從橫向偏差中恢復。如圖 18a 所示,機器人熟練地沿著相反的橫向方向移動,有效地補償擾動並恢復其穩定的原地行走步態。
陪跑又快又穩,機器人跑步搭子來了
在持續擾動測試期間,人類對機器人底座施加擾動力量,並沿著隨機方向拖曳機器人,同時命令機器人原地行走。如圖 19a 所展示的,當機器人正常行走時,持續的橫向拖曳力施加到 Cassie 的底座上。結果顯示機器人在不失去平衡的情況下,透過遵循這些外力的方向來表現出對這些外力的順應性。這也顯示了本文提出的基於強化學習的策略在控制雙足機器人以實現安全人機互動等潛在應用的優勢。

跑步實驗

#當機器人使用雙足跑步策略,在2 分34秒內實現了400 公尺衝刺,在27.06 秒內實現了100 公尺衝刺,跑步傾斜度高達10° 等等。

400 公尺短跑:研究首先評估了在標準室外跑道上完成 400 公尺短跑的一般跑步策略,如圖 20 所示。在整個測試過程中,機器人被命令以 3.5 m/s 的速速同時響應由操作員發出的不同轉彎命令。機器人能夠從站立姿態平滑地過渡到跑步步態(圖 20a 1)。機器人設法加速到平均估計運行速度 2.15 m/s,達到峰值估計速度 3.54 m/s,如圖 20b 所示。該策略使機器人成功地在整個 400 公尺跑步過程中始終保持所需的速度,同時準確地遵守不同的轉彎命令。
陪跑又快又穩,機器人跑步搭子來了
在所提出的跑步策略的控制下,Cassie 在 2 分 34 秒內成功完成了 400 公尺衝刺,隨後能夠過渡到站立姿態。

該研究進一步進行了急轉彎測試,其中機器人被給予偏航命令的階躍變化,從0 度直接到90 度,如圖21c 中記錄的。機器人可以回應這樣的步進指令,並在 2 秒 5 步內完成 90 度急轉彎。
陪跑又快又穩,機器人跑步搭子來了
100 公尺短跑:如圖22 所示,透過部署所提出的跑步策略,機器人在大約28 秒內完成了100 公尺短跑,實現了27.06 秒的最快跑步時間。
陪跑又快又穩,機器人跑步搭子來了
跳躍實驗

#透過實驗證明,研究者發現很難訓練機器人在跳躍到高架平台的同時同時轉彎,但所提出的跳躍策略實現了機器人多種不同的雙足跳躍,包括可以跳躍1.4 公尺以及跳到0.44 公尺高架平台上。

跳躍和轉彎:如圖25a 所示,使用單次跳躍策略,機器人能夠執行各種給定的目標跳躍,例如旋轉60° 時原地跳躍、向後跳躍到後方0.3 公尺處著陸等。
陪跑又快又穩,機器人跑步搭子來了
跳躍到高架平台:如圖25b 所示,機器人能夠精確地跳躍到不同位置的目標上,例如前方1 米或前方1.4 米,它還能跳到不同高度的位置,包括跳到0.44 公尺高的地方(考慮到機器人本身只有1.1 公尺高)。

了解更多內容,請參考原文。

以上是陪跑又快又穩,機器人跑步搭子來了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
DSA如何弯道超车NVIDIA GPU?DSA如何弯道超车NVIDIA GPU?Sep 20, 2023 pm 06:09 PM

你可能听过以下犀利的观点:1.跟着NVIDIA的技术路线,可能永远也追不上NVIDIA的脚步。2.DSA或许有机会追赶上NVIDIA,但目前的状况是DSA濒临消亡,看不到任何希望另一方面,我们都知道现在大模型正处于风口位置,业界很多人想做大模型芯片,也有很多人想投大模型芯片。但是,大模型芯片的设计关键在哪,大带宽大内存的重要性好像大家都知道,但做出来的芯片跟NVIDIA相比,又有何不同?带着问题,本文尝试给大家一点启发。纯粹以观点为主的文章往往显得形式主义,我们可以通过一个架构的例子来说明Sam

阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型Sep 25, 2023 pm 10:25 PM

2021年9月25日,阿里云发布了开源项目通义千问140亿参数模型Qwen-14B以及其对话模型Qwen-14B-Chat,并且可以免费商用。Qwen-14B在多个权威评测中表现出色,超过了同等规模的模型,甚至有些指标接近Llama2-70B。此前,阿里云还开源了70亿参数模型Qwen-7B,仅一个多月的时间下载量就突破了100万,成为开源社区的热门项目Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推

ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项Oct 04, 2023 pm 09:37 PM

在法国巴黎举行了国际计算机视觉大会ICCV(InternationalConferenceonComputerVision)本周开幕作为全球计算机视觉领域顶级的学术会议,ICCV每两年召开一次。ICCV的热度一直以来都与CVPR不相上下,屡创新高在今天的开幕式上,ICCV官方公布了今年的论文数据:本届ICCV共有8068篇投稿,其中有2160篇被接收,录用率为26.8%,略高于上一届ICCV2021的录用率25.9%在论文主题方面,官方也公布了相关数据:多视角和传感器的3D技术热度最高在今天的开

百度文心一言全面向全社会开放,率先迈出重要一步百度文心一言全面向全社会开放,率先迈出重要一步Aug 31, 2023 pm 01:33 PM

8月31日,文心一言首次向全社会全面开放。用户可以在应用商店下载“文心一言APP”或登录“文心一言官网”(https://yiyan.baidu.com)进行体验据报道,百度计划推出一系列经过全新重构的AI原生应用,以便让用户充分体验生成式AI的理解、生成、逻辑和记忆等四大核心能力今年3月16日,文心一言开启邀测。作为全球大厂中首个发布的生成式AI产品,文心一言的基础模型文心大模型早在2019年就在国内率先发布,近期升级的文心大模型3.5也持续在十余个国内外权威测评中位居第一。李彦宏表示,当文心

复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据Sep 29, 2023 pm 01:17 PM

随着智慧司法的兴起,智能化方法驱动的智能法律系统有望惠及不同群体。例如,为法律专业人员减轻文书工作,为普通民众提供法律咨询服务,为法学学生提供学习和考试辅导。由于法律知识的独特性和司法任务的多样性,此前的智慧司法研究方面主要着眼于为特定任务设计自动化算法,难以满足对司法领域提供支撑性服务的需求,离应用落地有不小的距离。而大型语言模型(LLMs)在不同的传统任务上展示出强大的能力,为智能法律系统的进一步发展带来希望。近日,复旦大学数据智能与社会计算实验室(FudanDISC)发布大语言模型驱动的中

AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验Sep 20, 2023 pm 10:45 PM

保险行业对于社会民生和国民经济的重要性不言而喻。作为风险管理工具,保险为人民群众提供保障和福利,推动经济的稳定和可持续发展。在新的时代背景下,保险行业面临着新的机遇和挑战,需要不断创新和转型,以适应社会需求的变化和经济结构的调整近年来,中国的保险科技蓬勃发展。通过创新的商业模式和先进的技术手段,积极推动保险行业实现数字化和智能化转型。保险科技的目标是提升保险服务的便利性、个性化和智能化水平,以前所未有的速度改变传统保险业的面貌。这一发展趋势为保险行业注入了新的活力,使保险产品更贴近人民群众的实际

致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑Oct 07, 2023 pm 10:09 PM

不得不说,Llama2的「二创」项目越来越硬核、有趣了。自Meta发布开源大模型Llama2以来,围绕着该模型的「二创」项目便多了起来。此前7月,特斯拉前AI总监、重回OpenAI的AndrejKarpathy利用周末时间,做了一个关于Llama2的有趣项目llama2.c,让用户在PyTorch中训练一个babyLlama2模型,然后使用近500行纯C、无任何依赖性的文件进行推理。今天,在Karpathyllama2.c项目的基础上,又有开发者创建了一个启动Llama2的演示操作系统,以及一个

快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验Oct 11, 2023 am 11:21 AM

杭州第19届亚运会不仅是国际顶级体育盛会,更是一场精彩绝伦的中国科技盛宴。本届亚运会中,快手StreamLake与杭州电信深度合作,联合打造智慧观赛新体验,在击剑赛事的转播中,全面应用了快手StreamLake六自由度技术,其中“子弹时间”也是首次应用于击剑项目国际顶级赛事。中国电信杭州分公司智能亚运专班组长芮杰表示,依托快手StreamLake自研的4K3D虚拟运镜视频技术和中国电信5G/全光网,通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频,

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SecLists

SecLists

SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),