讓機器人感知你的「Here you are」，清華團隊使用百萬場景打造通用人機交接

清華大學交叉資訊研究院的研究者提出了一個名為"GenH2R"的框架，該框架旨在讓機器人學習通用的基於視覺的人機交接策略。這種策略使得機器人能夠更可靠地接住各種形狀多樣、運動軌跡複雜的物體，為人機互動帶來了新的可能性。這項研究為人工智慧領域的發展提供了重要的突破，為機器人在現實場景中的應用帶來了更大的靈活性和適應性。

隨著具身智慧（Embodied AI）時代的來臨，我們期待智慧體能主動與環境互動。在這個過程中，讓機器人融入人類生活環境、與人類互動（Human Robot Interaction）變得至關重要。我們需要思考如何理解人類的行為和意圖，以最符合人類期望的方式滿足其需求，將人類放在具身智慧的中心（Human-Centered Embodied AI）。其中一個關鍵的技能是可泛化的人機交接（Generalizable Human-to-Robot Handover），它使機器人能夠更好地與人類合作，完成各種日常通用任務，如烹飪、居室整理和家具組裝等。

大模型的火爆發展預示著大量高品質資料大規模學習是走向通用智慧的一種可能方式，那麼能否透過海量機器人資料與大規模策略模仿獲取通用人機交接技能？然而，若考慮在現實世界中讓機器人與人類進行大規模互動學習是危險且昂貴的，機器很有可能會傷害到人類：

在模擬環境中進行訓練，並利用人物模擬和動態抓取運動規劃來自動化提供大量多樣的機器人學習數據，然後將這些數據應用到真實機器人上，這種基於學習的方法被稱為" Sim-to-Real Transfer"，它能夠顯著提升機器人與人類之間的協作互動能力，並且具有更高的可靠性。

因此，「GenH2R」框架被提出，分別從模擬（Simulation），範例（Demonstration），模仿（Imitation）三個角度出發，讓機器人第一次基於端到端的方式學習對任意抓取方式、任意交接軌跡、任意物體幾何的通用交接：1）在“GenH2R-Sim”環境中提供了百萬級別的易於生成的各種複雜模擬交接場景，2）引入一套自動化的基於視覺- 動作協同的專家範例（Expert Demonstrations）生成流程，3）使用基於4D 資訊和預測輔助（點雲時間）的模仿學習（Imitation Learning）方法。

與SOTA方法（CVPR2023 Highlight）相比，GenH2R的方法在各種測試集上的平均成功率提高了14%，時間縮短了13%，並且在真機實驗中表現更加穩健。

• #論文網址：https://arxiv.org/abs/2401.00929
• 論文首頁：https://GenH2R.github.io
• #論文影片：https://youtu.be/BbphK5QlS1Y

方法介紹

為了幫助尚未通關的玩家，讓我們一起了解「模擬環境（GenH2R-Sim）」的具體解謎方法吧。

為了產生高品質、大規模的人手 - 物件資料集，GenH2R-Sim 環境從抓取姿勢和運動軌跡兩方面對場景建模。

在抓取姿勢方面，GenH2R-Sim 從ShapeNet 中引入了豐富的3D 物體模型，從中挑選出3266 個適合交接的日常物體，使用靈巧抓取的生成方法（DexGraspNet），總共生成了100 萬人手抓住物體的場景。在運動軌跡方面，GenH2R-Sim 使用若干控制點產生多段光滑的 Bézier 曲線，並引入人手和物體的旋轉，模擬出手遞物的各種複雜運動軌跡。

GenH2R-Sim 的100 萬場景中，不僅在運動軌跡（1 千vs 100 萬）、物體數量（20 vs 3266）兩方面遠超之前最新工作，此外，還引入了接近真實情境的互動訊息（如機械手臂足夠靠近物體時，人會配合停止運動，等待完成交接），而非簡單的軌跡播放。儘管模擬產生的數據不能完全逼真，但實驗結果表明，比起小規模的真實數據，大規模的模擬數據更有助於學習。

B. 大規模生成利於蒸餾的專家範例

基於大規模的人手和物件運動軌跡數據，GenH2R 自動化地產生了大量專家範例。 GenH2R 尋求的「專家」 是經過改進的Motion Planner（如OMG Planner），這些方法是非學習、基於控制優化的，不依賴視覺的點雲，往往需要一些場景狀態（例如物體的目標抓取位置）。為了確保後續的視覺策略網絡能夠蒸餾出有益於學習的信息，關鍵在於確保 “專家” 提供的示例具有視覺 - 動作相關性（Vision-action correlation）。規劃時如果知道最後落點，那麼機械手臂可以忽略視覺而直接規劃到最終位置“守株待兔”，這樣可能會導致機器人的相機無法看到物體，這種示例對於下游的視覺策略網絡並沒有任何幫助；而如果頻繁地根據物體位置進行重新規劃，可能會導致機械手臂動作不連續，出現奇怪的形態，無法完成合理的抓取。

為了產生出利於蒸餾（Distillation-friendly）的專家範例，GenH2R 引入了 Landmark Planning。人手的運動軌跡會依照軌跡光滑程度和距離被分成多段，以 Landmark 作為分割標記。在每一段中，人手軌跡是光滑的，專家方法會朝著 Landmark 點進行規劃。這種方法可以同時確保視覺 - 動作相關性和動作連續性。

C. 以預測為輔助的4D 模仿學習網路

基於大規模專家範例，GenH2R 使用模仿學習的方法，建構4D 策略網絡，對觀察到的時序點雲資訊進行幾何和運動的分解。對於每一幀點雲，透過迭代最近點演算法（Iterative Closest Point）計算和上一幀點雲之間的位姿變換，以估計出每個點的流（flow）信息，使得每一幀點雲都具有運動特徵。接著，使用 PointNet 對每一幀點雲編碼，最後不僅解碼出最終需要的 6D egocentric 動作，還會額外輸出一個物體未來位姿的預測，增強策略網絡對未來手和物體運動的預測能力。

不同於更複雜的4D Backbone（例如Transformer-based），這種網路架構的推理速度很快，更適用於交接物體這種需要低延時的人機互動場景，同時它也能有效地利用時序訊息，做到了簡單性和有效性的平衡。

實驗

A. 模擬環境實驗

GenH2R 和SOTA 方法進行了各種設定下的比較，相較於使用小規模真實資料訓練的方法，在GenH2R-Sim 中使用大規模模擬資料進行訓練的方法，可以取得顯著的優勢（在各種測試集上成功率平均提升14%，時間上縮短13%）。

在真實資料測試集s0 中，GenH2R 的方法可以成功交接更複雜​​的物體，並且能夠提前調整姿勢，避免在夾爪靠近物體時再頻繁進行姿勢調整：

#

在模擬資料測試集t0（GenH2R-sim 引入）中，GenH2R 的方法可以能夠預測物體的未來姿勢，以實現更合理的接近軌跡：

在真實資料測試集t1（GenH2R-sim 從HOI4D 引入，比之前工作的s0 測試集增加大約7 倍）中，GenH2R 的方法可以泛化到沒有見過的、具有不同幾何形狀的真實世界物體。

B. 真機實驗

#GenH2R 同時將學到的策略部署到現實世界中的機械手臂上，完成「sim-to-real「的跳躍。

對於更複雜的運動軌跡（例如旋轉），GenH2R 的策略展現出更強的適應能力；對於更複雜的幾何，GenH2R 的方法更可以展現出更強的泛化性：

GenH2R 完成了各種交接物件的真機測試以及使用者研究，展現出很強的穩健性。

了解更多實驗、方法內容，請參考論文首頁。

團隊介紹

論文來自清華大學3DVICI Lab、上海人工智慧實驗室和上海期智研究院，論文的作者為清華大學學生汪子凡（共同一作）、陳峻宇（共同一作）、陳梓青和謝鵬威，指導老師是弋力和陳睿。

清華大學三維視覺計算與機器智慧實驗室（簡稱 3DVICI Lab），是清華大學交叉資訊研究院下的人工智慧實驗室，由弒力教授組成和指導。 3DVICI Lab 瞄準人工智慧最前線的通用三維視覺與智慧機器人互動問題，研究方向涵蓋具身感知、互動規劃與生成、人機協作等，與機器人、虛擬實境、自動駕駛等應用領域密切聯繫。團隊研究目標是使智能體具備理解並與三維世界互動的能力，成果發表於各大頂級電腦會議、期刊上。

以上是讓機器人感知你的「Here you are」，清華團隊使用百萬場景打造通用人機交接的詳細內容。更多資訊請關注PHP中文網其他相關文章！