自2017年首次舉辦以來,CoRL已經成為了機器人學與機器學習交叉領域的全球頂級學術會議之一。 CoRL是機器人學習研究的單一主題會議,涵蓋了機器人學、機器學習和控制等多個主題,包括理論與應用
2023年的CoRL大會將於11月6日至9日在美國亞特蘭大舉行。根據官方數據透露,今年有來自25個國家的199篇論文入選CoRL。熱門主題包括操作、強化學習等。雖然相較於AAAI、CVPR等大型AI學術會議,CoRL的規模較小,但隨著今年大模型、具身智能、人形機器人等概念的熱度上升,值得關注的相關研究也會在CoRL會議上呈現
目前,CoRL 2023 官方已公佈最佳論文獎、最佳學生論文獎、最佳系統論文獎等獎項。接下來,我們將為大家介紹這些得獎論文。
研究概述:目前,圖像模型中的自監督學習和語言監督學習已經融入了豐富的全球知識,這對於模型的泛化能力非常關鍵。然而,圖像特徵只包含了二維資訊。我們了解到,在機器人任務中,對於真實世界中三維物體的幾何形狀有所了解是非常重要的
透過使用蒸餾特徵場(Distilled Feature Field,DFF),該研究將精確的三維幾何圖形與來自二維基礎模型的豐富語義結合起來,以使機器人能夠利用二維基礎模型中豐富的視覺和語言先驗,從而完成基於語言指導的操作
具體來說,研究提出了一種用於6-DOF 抓取和放置的小樣本學習方法,並利用強大的空間和語義先驗泛化到未見過物體上。使用從視覺- 語言模型CLIP 中提取的特徵,該研究提出了一種透過開放性的自然語言指令對新物體進行操作,並展示了這種方法泛化到未見過的表達和新型物體的能力。
這篇論文的兩位共同一作是CSAIL 「具身智慧」團隊的成員William Shen 和楊歌,其中楊歌是2023 年CSAIL 具身智慧研討會的共同籌辦人。
我了解到《機器之心》曾經詳細介紹過這項研究,請查閱《大模型加持的機器人有多強,MIT CSAIL&IAIFI 用自然語言指導機器人抓取物體》
大型語言模型(LLM)是一種具有廣泛應用前景的技術,在機器人領域尤其如此。然而,儘管LLM在逐步規劃和常識推理方面表現出了巨大的潛力,但它也存在一些幻覺問題
基於此,該研究提出了一種新框架—— KnowNo,用於度量和對齊基於LLM 的規劃器的不確定性。它能夠使 LLM 意識到哪些資訊是未知的,並在有需要時尋求協助。
KnowNo是基於共形預測理論的,它提供了任務完成的統計保證,並能夠最大程度地減少多步驟規劃任務中的人工幹預
該研究在各種模擬和真實機器人實驗中,以各種模式的不確定任務(包括空間不確定性、數位不確定性等等)對KnowNo 進行了測試。實驗結果表明, KnowNo 在提高效率和自主性方面表現出色,優於基線,且安全可信。 KnowNo 能夠在不進行模型微調的情況下直接用於 LLM,為模型的不確定性提供了一種有效的輕量級解決方法,並能夠與基礎模型不斷增強的能力相輔相成。
論文簡介:人類擅長製造和使用各種工具,但對於機器人而言,理解如何有效使用工具,並在相應的物體上完成操作仍然是一個很大的挑戰。該研究建構了一個名為RoboCook的智慧機器人系統,能夠透過各種工具感知、建模並操縱彈塑性物體(elasto-plastic object)
RoboCook 使用點雲場景表徵,利用圖神經網路(GNN)對工具與物體的相互作用進行建模,並將工具分類與自監督策略學習相結合,以製定操作計劃。
該研究表明,對於每個工具,僅需20 分鐘的現實世界互動數據,RoboCook 就能學會並操縱機械手臂完成一些複雜的、長時程的彈塑性物件操作任務,例如製作餃子、字母餅乾等。
根據實驗結果顯示,RoboCook 的性能明顯優於現有的SOTA 方法,且在面對嚴重的外部幹擾時仍能表現出穩定性,對不同材料的適應能力也更為出色
值得一提的是,這篇論文的共同一作分別是來自史丹佛大學的博士生Haochen Shi、原史丹佛大學博士後研究員、現清華大學交叉資訊科學研究所助理教授Huazhe Xu,論文作者之一為姚班校友、史丹佛大學助理教授吳佳俊。
獲獎論文入圍名單已經公佈
#以上是華人團隊斬獲最佳論文、最佳系統論文獎項,CoRL研究成果獲獎公佈的詳細內容。更多資訊請關注PHP中文網其他相關文章!