搜尋
首頁科技週邊人工智慧柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

隨著人工智慧和機器人技術的快速發展,功能操控(Functional Manipulation)在機器人學中的重要性愈加突出。傳統的基準測試已無法滿足目前機器人對複雜操控任務的需求,呼籲新的操控基準(Functional Manipulation Benchmark)出現。

概述

#機器人操控面臨兩個主要挑戰:機器人如何智慧地處理複雜的接觸動力學以及如何應對環境和物體的多樣性。針對這些挑戰,機器人學習技術被視為關鍵的解決方法。因此,該領域需要一個全面易得的框架,提供有挑戰性的實際任務、高品質數據、易於複製的設置,集合了基線結果的相關方法,基於該框架,研究人員能夠對所提出任務的實驗發現進行深入分析。

加州大學柏克萊分校智慧機器人實驗室(RAIL)的研究團隊提出如上所述的現實世界基準,稱為FMB(Functional Manipulation Benchmark for Generalizable Robotic Learning )。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

  • 專案首頁:https://functional-manipulation-benchmark.github.io/
  • 論文網址:https://arxiv.org/abs/2401.08553
  • 論文題目:FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning


  • # #共同第一作者首頁:https://people.eecs.berkeley.edu/~jianlanluo/
  • https://charlesxu0124.github.io/

FMB 具有以下特點:

#創新設計:採用了3D 列印技術製作任務中的物體,來考驗機器人的泛化能力,這種方法也便於其他研究者復現。

多元任務:包含單物件和多物件多階段操控任務,真實模擬日常環境中的挑戰。

大型資料集:透過大量人工演示,為機器人提供了豐富的資料集。 柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

模仿學習基準:使用最先進的機器學習方法,提供了基準結果和模組化元件以供其他研究者使用。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

###############物件與任務##################FMB 中的任務大致分為兩類:單物體多步驟操控任務及多物體多步驟操控任務。這些任務旨在測試機器人的基本技能,如抓取、重新定位和組裝等,這些都是完成整個任務所需的技能。 FMB 中的任務要求機器人不僅能完成單一的操控技能,還要求機器人能夠將這些技能組合起來,完成更複雜的多步驟任務。 ###############FMB 的任務設計靈活多變,研究人員可以根據需求選擇專注於單一技能,深入研究機器人的操控能力,也可以研究完整的多步驟任務,這需要機器人進行長期規劃並具備從失敗中恢復的能力。由於涉及選擇合適的物體並推理操控物體的順序,更為複雜的多步驟任務要求機器人能夠做出複雜的即時決策。 ##############################
大型資料集

在機器人學習的過程中,資料的作用不可小覷。為了讓機器人更能理解和掌握複雜的任務,研究團隊收集了一個涵蓋上述任務的大規模專家人類示範資料集,包含超過兩萬個操作軌跡。研究團隊採用了四個不同的攝影機來記錄這些示範數據,其中兩個攝影機安裝在機器人的腕部,另外兩個提供全局視角。這些攝影機捕捉了對於機器人學習解決任務至關重要的 RGB 彩色影像資訊、深度資訊等資料。

此外,資料集還記錄了機器人末端執行器的力 / 扭矩訊息,這對於像裝配這樣需要接觸大量物體的任務非常重要。透過這些豐富的數據,機器人能夠深入理解任務的每個細節,更精確地模仿人類的操作技巧。正是由於數據的深度和廣度,為機器人學習提供了堅實的基礎。這使得機器人在執行複雜任務時,能夠更人性化、更靈巧地對任務作出回應。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

模仿學習基線

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

基線策略的架構圖。

基於Transformer 和ResNet 的兩個模型都使用了共享權重的ResNet 編碼器對每個圖像視圖進行編碼,然後與本體感知資訊和可選的物體和相應的機器人技能編碼特徵結合,以預測7 自由度的動作。

FMB 的實驗部分對模仿學習系統的表現進行了一系列測試,比較了不同的學習方法,並探討了不同輸入模式和設計決策的影響。實驗發現,使用深度資訊有助於提高抓取策略的效果,而力 / 扭力資訊對於組裝任務非常重要。對於多步驟任務,傳統的 ResNet、Transformer 和 Diffusion 方法都未能奏效,但論文中提出的分級控制 (hierarchical control) 方法顯示出了潛力。

抓取任務

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

#實驗結果顯示,納入深度資訊的ResNet 策略在抓取任務中的效能一致優於僅使用RGB 資訊的策略。透過資料削減研究,研究團隊探討了不同數量的訓練資料對抓取任務表現的影響。結果顯示,納入深度資訊的 ResNet 策略在處理已見物體時的表現將隨著訓練資料量的增加而提升。值得注意的是,該策略對未見過的物體表現出了與已見物體相近的性能,這表明訓練對象的多樣性極大地促進了機器人的泛化能力。

組裝任務

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

#在組裝任務中,力/ 扭力資訊的重要性得到了證實。力 / 扭力資訊對於機器人採取的策略判斷物體是否已接觸到目標表面,並有效進行搜尋等行為非常重要。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

然而,當策略在所有物件上進行訓練時,機器人並不總是能夠成功地完成組裝任務。這是因為策略需要先判斷物體應組裝到哪個孔中,然後再產生對應的動作,這大大增加了任務的複雜性。為了解決這個問題,研究團隊在策略中加入了一個選取物體機制,幫助策略確定需要組裝的物體的形狀,從而專注於產生正確的組裝動作。

多步驟任務

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

#
FMB 的框架包含了兩項複雜任務。這些複雜任務要求機器人能夠像人類一樣連續完成多個步驟。先前的方法是讓機器人學習整個過程,但這種方法容易因為單一環節的錯誤而不斷累積誤差,最後導致整個任務失敗。無論是在單物體或多物體操控任務中,此方法的成功率均為 0/10。

針對累積誤差問題,研究團隊採用了分層控制策略。分層策略透過將任務分解成若干小塊,每完成一塊便相當於通過一個決策點,即使出現錯誤也能迅速糾正,避免影響後續環節。例如,如果機器人在抓取過程中未能穩固抓住物體,它會持續嘗試直到成功。

研究團隊測試了兩種分層方法,第一種方法為單一策略提供指示任務類型的有效向量,而第二種方法則是針對每個操控技能單獨訓練不同的策略,均採用了操作員的指令作為上層策略,在測試中,研究團隊發現這兩種方法都表現優異。

測試結果顯示了分層方法在處理複雜機器人任務中的有效性,並為未來研究提供了新的研究方向。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

如上圖所示,機器人在學習後能夠自主進行功能操控。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

總的來說,上述實驗展示了研究團隊在機器人學習領域的技術創新,也驗證了 FMB 是適合開發先進機器人學習方法的基準。研究團隊研究期待未來的研究可以在 FMB 基礎上進一步推動機器人學習的邊界。

以上是柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
DSA如何弯道超车NVIDIA GPU?DSA如何弯道超车NVIDIA GPU?Sep 20, 2023 pm 06:09 PM

你可能听过以下犀利的观点:1.跟着NVIDIA的技术路线,可能永远也追不上NVIDIA的脚步。2.DSA或许有机会追赶上NVIDIA,但目前的状况是DSA濒临消亡,看不到任何希望另一方面,我们都知道现在大模型正处于风口位置,业界很多人想做大模型芯片,也有很多人想投大模型芯片。但是,大模型芯片的设计关键在哪,大带宽大内存的重要性好像大家都知道,但做出来的芯片跟NVIDIA相比,又有何不同?带着问题,本文尝试给大家一点启发。纯粹以观点为主的文章往往显得形式主义,我们可以通过一个架构的例子来说明Sam

阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型阿里云通义千问14B模型开源!性能超越Llama2等同等尺寸模型Sep 25, 2023 pm 10:25 PM

2021年9月25日,阿里云发布了开源项目通义千问140亿参数模型Qwen-14B以及其对话模型Qwen-14B-Chat,并且可以免费商用。Qwen-14B在多个权威评测中表现出色,超过了同等规模的模型,甚至有些指标接近Llama2-70B。此前,阿里云还开源了70亿参数模型Qwen-7B,仅一个多月的时间下载量就突破了100万,成为开源社区的热门项目Qwen-14B是一款支持多种语言的高性能开源模型,相比同类模型使用了更多的高质量数据,整体训练数据超过3万亿Token,使得模型具备更强大的推

ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项ICCV 2023揭晓:ControlNet、SAM等热门论文斩获奖项Oct 04, 2023 pm 09:37 PM

在法国巴黎举行了国际计算机视觉大会ICCV(InternationalConferenceonComputerVision)本周开幕作为全球计算机视觉领域顶级的学术会议,ICCV每两年召开一次。ICCV的热度一直以来都与CVPR不相上下,屡创新高在今天的开幕式上,ICCV官方公布了今年的论文数据:本届ICCV共有8068篇投稿,其中有2160篇被接收,录用率为26.8%,略高于上一届ICCV2021的录用率25.9%在论文主题方面,官方也公布了相关数据:多视角和传感器的3D技术热度最高在今天的开

复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据复旦大学团队发布中文智慧法律系统DISC-LawLLM,构建司法评测基准,开源30万微调数据Sep 29, 2023 pm 01:17 PM

随着智慧司法的兴起,智能化方法驱动的智能法律系统有望惠及不同群体。例如,为法律专业人员减轻文书工作,为普通民众提供法律咨询服务,为法学学生提供学习和考试辅导。由于法律知识的独特性和司法任务的多样性,此前的智慧司法研究方面主要着眼于为特定任务设计自动化算法,难以满足对司法领域提供支撑性服务的需求,离应用落地有不小的距离。而大型语言模型(LLMs)在不同的传统任务上展示出强大的能力,为智能法律系统的进一步发展带来希望。近日,复旦大学数据智能与社会计算实验室(FudanDISC)发布大语言模型驱动的中

百度文心一言全面向全社会开放,率先迈出重要一步百度文心一言全面向全社会开放,率先迈出重要一步Aug 31, 2023 pm 01:33 PM

8月31日,文心一言首次向全社会全面开放。用户可以在应用商店下载“文心一言APP”或登录“文心一言官网”(https://yiyan.baidu.com)进行体验据报道,百度计划推出一系列经过全新重构的AI原生应用,以便让用户充分体验生成式AI的理解、生成、逻辑和记忆等四大核心能力今年3月16日,文心一言开启邀测。作为全球大厂中首个发布的生成式AI产品,文心一言的基础模型文心大模型早在2019年就在国内率先发布,近期升级的文心大模型3.5也持续在十余个国内外权威测评中位居第一。李彦宏表示,当文心

AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验AI技术在蚂蚁集团保险业务中的应用:革新保险服务,带来全新体验Sep 20, 2023 pm 10:45 PM

保险行业对于社会民生和国民经济的重要性不言而喻。作为风险管理工具,保险为人民群众提供保障和福利,推动经济的稳定和可持续发展。在新的时代背景下,保险行业面临着新的机遇和挑战,需要不断创新和转型,以适应社会需求的变化和经济结构的调整近年来,中国的保险科技蓬勃发展。通过创新的商业模式和先进的技术手段,积极推动保险行业实现数字化和智能化转型。保险科技的目标是提升保险服务的便利性、个性化和智能化水平,以前所未有的速度改变传统保险业的面貌。这一发展趋势为保险行业注入了新的活力,使保险产品更贴近人民群众的实际

致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑致敬TempleOS,有开发者创建了启动Llama 2的操作系统,网友:8G内存老电脑就能跑Oct 07, 2023 pm 10:09 PM

不得不说,Llama2的「二创」项目越来越硬核、有趣了。自Meta发布开源大模型Llama2以来,围绕着该模型的「二创」项目便多了起来。此前7月,特斯拉前AI总监、重回OpenAI的AndrejKarpathy利用周末时间,做了一个关于Llama2的有趣项目llama2.c,让用户在PyTorch中训练一个babyLlama2模型,然后使用近500行纯C、无任何依赖性的文件进行推理。今天,在Karpathyllama2.c项目的基础上,又有开发者创建了一个启动Llama2的演示操作系统,以及一个

快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验快手黑科技“子弹时间”赋能亚运转播,打造智慧观赛新体验Oct 11, 2023 am 11:21 AM

杭州第19届亚运会不仅是国际顶级体育盛会,更是一场精彩绝伦的中国科技盛宴。本届亚运会中,快手StreamLake与杭州电信深度合作,联合打造智慧观赛新体验,在击剑赛事的转播中,全面应用了快手StreamLake六自由度技术,其中“子弹时间”也是首次应用于击剑项目国际顶级赛事。中国电信杭州分公司智能亚运专班组长芮杰表示,依托快手StreamLake自研的4K3D虚拟运镜视频技术和中国电信5G/全光网,通过赛场内部署的4K专业摄像机阵列实时采集的高清竞赛视频,

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
1 個月前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具