搜尋
首頁科技週邊人工智慧柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

隨著人工智慧和機器人技術的快速發展,功能操控(Functional Manipulation)在機器人學中的重要性愈加突出。傳統的基準測試已無法滿足目前機器人對複雜操控任務的需求,呼籲新的操控基準(Functional Manipulation Benchmark)出現。

概述

#機器人操控面臨兩個主要挑戰:機器人如何智慧地處理複雜的接觸動力學以及如何應對環境和物體的多樣性。針對這些挑戰,機器人學習技術被視為關鍵的解決方法。因此,該領域需要一個全面易得的框架,提供有挑戰性的實際任務、高品質數據、易於複製的設置,集合了基線結果的相關方法,基於該框架,研究人員能夠對所提出任務的實驗發現進行深入分析。

加州大學柏克萊分校智慧機器人實驗室(RAIL)的研究團隊提出如上所述的現實世界基準,稱為FMB(Functional Manipulation Benchmark for Generalizable Robotic Learning )。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

  • 專案首頁:https://functional-manipulation-benchmark.github.io/
  • 論文網址:https://arxiv.org/abs/2401.08553
  • 論文題目:FMB: a Functional Manipulation Benchmark for Generalizable Robotic Learning


  • # #共同第一作者首頁:https://people.eecs.berkeley.edu/~jianlanluo/
  • https://charlesxu0124.github.io/

FMB 具有以下特點:

#創新設計:採用了3D 列印技術製作任務中的物體,來考驗機器人的泛化能力,這種方法也便於其他研究者復現。

多元任務:包含單物件和多物件多階段操控任務,真實模擬日常環境中的挑戰。

大型資料集:透過大量人工演示,為機器人提供了豐富的資料集。 柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

模仿學習基準:使用最先進的機器學習方法,提供了基準結果和模組化元件以供其他研究者使用。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

###############物件與任務##################FMB 中的任務大致分為兩類:單物體多步驟操控任務及多物體多步驟操控任務。這些任務旨在測試機器人的基本技能,如抓取、重新定位和組裝等,這些都是完成整個任務所需的技能。 FMB 中的任務要求機器人不僅能完成單一的操控技能,還要求機器人能夠將這些技能組合起來,完成更複雜的多步驟任務。 ###############FMB 的任務設計靈活多變,研究人員可以根據需求選擇專注於單一技能,深入研究機器人的操控能力,也可以研究完整的多步驟任務,這需要機器人進行長期規劃並具備從失敗中恢復的能力。由於涉及選擇合適的物體並推理操控物體的順序,更為複雜的多步驟任務要求機器人能夠做出複雜的即時決策。 ##############################
大型資料集

在機器人學習的過程中,資料的作用不可小覷。為了讓機器人更能理解和掌握複雜的任務,研究團隊收集了一個涵蓋上述任務的大規模專家人類示範資料集,包含超過兩萬個操作軌跡。研究團隊採用了四個不同的攝影機來記錄這些示範數據,其中兩個攝影機安裝在機器人的腕部,另外兩個提供全局視角。這些攝影機捕捉了對於機器人學習解決任務至關重要的 RGB 彩色影像資訊、深度資訊等資料。

此外,資料集還記錄了機器人末端執行器的力 / 扭矩訊息,這對於像裝配這樣需要接觸大量物體的任務非常重要。透過這些豐富的數據,機器人能夠深入理解任務的每個細節,更精確地模仿人類的操作技巧。正是由於數據的深度和廣度,為機器人學習提供了堅實的基礎。這使得機器人在執行複雜任務時,能夠更人性化、更靈巧地對任務作出回應。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

模仿學習基線

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

基線策略的架構圖。

基於Transformer 和ResNet 的兩個模型都使用了共享權重的ResNet 編碼器對每個圖像視圖進行編碼,然後與本體感知資訊和可選的物體和相應的機器人技能編碼特徵結合,以預測7 自由度的動作。

FMB 的實驗部分對模仿學習系統的表現進行了一系列測試,比較了不同的學習方法,並探討了不同輸入模式和設計決策的影響。實驗發現,使用深度資訊有助於提高抓取策略的效果,而力 / 扭力資訊對於組裝任務非常重要。對於多步驟任務,傳統的 ResNet、Transformer 和 Diffusion 方法都未能奏效,但論文中提出的分級控制 (hierarchical control) 方法顯示出了潛力。

抓取任務

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

#實驗結果顯示,納入深度資訊的ResNet 策略在抓取任務中的效能一致優於僅使用RGB 資訊的策略。透過資料削減研究,研究團隊探討了不同數量的訓練資料對抓取任務表現的影響。結果顯示,納入深度資訊的 ResNet 策略在處理已見物體時的表現將隨著訓練資料量的增加而提升。值得注意的是,該策略對未見過的物體表現出了與已見物體相近的性能,這表明訓練對象的多樣性極大地促進了機器人的泛化能力。

組裝任務

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

#在組裝任務中,力/ 扭力資訊的重要性得到了證實。力 / 扭力資訊對於機器人採取的策略判斷物體是否已接觸到目標表面,並有效進行搜尋等行為非常重要。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

然而,當策略在所有物件上進行訓練時,機器人並不總是能夠成功地完成組裝任務。這是因為策略需要先判斷物體應組裝到哪個孔中,然後再產生對應的動作,這大大增加了任務的複雜性。為了解決這個問題,研究團隊在策略中加入了一個選取物體機制,幫助策略確定需要組裝的物體的形狀,從而專注於產生正確的組裝動作。

多步驟任務

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

#
FMB 的框架包含了兩項複雜任務。這些複雜任務要求機器人能夠像人類一樣連續完成多個步驟。先前的方法是讓機器人學習整個過程,但這種方法容易因為單一環節的錯誤而不斷累積誤差,最後導致整個任務失敗。無論是在單物體或多物體操控任務中,此方法的成功率均為 0/10。

針對累積誤差問題,研究團隊採用了分層控制策略。分層策略透過將任務分解成若干小塊,每完成一塊便相當於通過一個決策點,即使出現錯誤也能迅速糾正,避免影響後續環節。例如,如果機器人在抓取過程中未能穩固抓住物體,它會持續嘗試直到成功。

研究團隊測試了兩種分層方法,第一種方法為單一策略提供指示任務類型的有效向量,而第二種方法則是針對每個操控技能單獨訓練不同的策略,均採用了操作員的指令作為上層策略,在測試中,研究團隊發現這兩種方法都表現優異。

測試結果顯示了分層方法在處理複雜機器人任務中的有效性,並為未來研究提供了新的研究方向。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

如上圖所示,機器人在學習後能夠自主進行功能操控。

柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯

總的來說,上述實驗展示了研究團隊在機器人學習領域的技術創新,也驗證了 FMB 是適合開發先進機器人學習方法的基準。研究團隊研究期待未來的研究可以在 FMB 基礎上進一步推動機器人學習的邊界。

以上是柏克萊開源高品質大型機器人操控基準,面對複雜自主操控任務不再犯錯的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:机器之心。如有侵權,請聯絡admin@php.cn刪除
AI技能差距正在減慢供應鏈AI技能差距正在減慢供應鏈Apr 26, 2025 am 11:13 AM

經常使用“ AI-Ready勞動力”一詞,但是在供應鏈行業中確實意味著什麼? 供應鏈管理協會(ASCM)首席執行官安倍·埃什肯納齊(Abe Eshkenazi)表示,它表示能夠評論家的專業人員

一家公司如何悄悄地努力改變AI一家公司如何悄悄地努力改變AIApr 26, 2025 am 11:12 AM

分散的AI革命正在悄悄地獲得動力。 本週五在德克薩斯州奧斯汀,Bittensor最終遊戲峰會標誌著一個關鍵時刻,將分散的AI(DEAI)從理論轉變為實際應用。 與閃閃發光的廣告不同

NVIDIA釋放NEMO微服務以簡化AI代理開發NVIDIA釋放NEMO微服務以簡化AI代理開發Apr 26, 2025 am 11:11 AM

企業AI面臨數據集成挑戰 企業AI的應用面臨一項重大挑戰:構建能夠通過持續學習業務數據來保持準確性和實用性的系統。 NeMo微服務通過創建Nvidia所描述的“數據飛輪”來解決這個問題,允許AI系統通過持續接觸企業信息和用戶互動來保持相關性。 這個新推出的工具包包含五個關鍵微服務: NeMo Customizer 處理大型語言模型的微調,具有更高的訓練吞吐量。 NeMo Evaluator 提供針對自定義基準的AI模型簡化評估。 NeMo Guardrails 實施安全控制,以保持合規性和適當的

AI為藝術與設計的未來描繪了一幅新圖片AI為藝術與設計的未來描繪了一幅新圖片Apr 26, 2025 am 11:10 AM

AI:藝術與設計的未來畫卷 人工智能(AI)正以前所未有的方式改變藝術與設計領域,其影響已不僅限於業餘愛好者,更深刻地波及專業人士。 AI生成的藝術作品和設計方案正在迅速取代傳統的素材圖片和許多交易性設計活動中的設計師,例如廣告、社交媒體圖片生成和網頁設計。 然而,專業藝術家和設計師也發現AI的實用價值。他們將AI作為輔助工具,探索新的美學可能性,融合不同的風格,創造新穎的視覺效果。 AI幫助藝術家和設計師自動化重複性任務,提出不同的設計元素並提供創意輸入。 AI支持風格遷移,即將一種圖像的風格應用

Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Zoom如何徹底改變與Agent AI的合作:從會議到里程碑Apr 26, 2025 am 11:09 AM

Zoom最初以其視頻會議平台而聞名,它通過創新使用Agentic AI來引領工作場所革命。 最近與Zoom的CTO XD黃的對話揭示了該公司雄心勃勃的願景。 定義代理AI 黃d

對大學的存在威脅對大學的存在威脅Apr 26, 2025 am 11:08 AM

AI會徹底改變教育嗎? 這個問題是促使教育者和利益相關者的認真反思。 AI融入教育既提出了機遇和挑戰。 正如科技Edvocate的馬修·林奇(Matthew Lynch)所指出的那樣

原型:美國科學家正在國外尋找工作原型:美國科學家正在國外尋找工作Apr 26, 2025 am 11:07 AM

美國科學研究和技術發展或將面臨挑戰,這或許是由於預算削減導致的。據《自然》雜誌報導,2025年1月至3月期間,美國科學家申請海外工作的數量比2024年同期增加了32%。此前一項民意調查顯示,75%的受訪研究人員正在考慮前往歐洲和加拿大尋找工作。 過去幾個月,數百項NIH和NSF的撥款被終止,NIH今年的新撥款減少了約23億美元,下降幅度接近三分之一。洩露的預算提案顯示,特朗普政府正在考慮大幅削減科學機構的預算,削減幅度可能高達50%。 基礎研究領域的動盪也影響了美國的一大優勢:吸引海外人才。 35

所有有關打開AI最新的GPT 4.1家庭的信息 - 分析Vidhya所有有關打開AI最新的GPT 4.1家庭的信息 - 分析VidhyaApr 26, 2025 am 10:19 AM

Openai推出了強大的GPT-4.1系列:一個專為現實世界應用設計的三種高級語言模型家族。 這種巨大的飛躍提供了更快的響應時間,增強的理解和大幅降低了成本

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),