騰訊機器人研究登頂！能幫程式設計師安顯示器，像真人一樣協同工作

國產機器人新突破：

兩個各自獨立的機械手臂，已經可以絲滑地打配合了！

不信你看這雙手擰瓶蓋：

#擰完再端起杯子倒水：

活靈活現，如真人。

吶，還能搭把手幫程式設計師安裝好顯示器：

甚至接過「同事」手上的大箱子：

#可以說是各種幾何和物理特性的物體都能穩穩hold住。

（下一步還能幹啥，不敢想）

這就是騰訊Robotics X實驗室的最新成果：通用雙臂協同靈巧操作框架。目前已登上機器人領域頂刊《IEEE Transactions on Robotics》。

既然是乾活，抗干擾能力得有：

既然是雙手幹活，兩手臂就不能“攪”一起：

下面這個不明覺厲的“椅子360°翻轉操作”，就展現的是它全自主的“雙臂避自碰」能力。

最後，偶爾遇到人類調皮，它也可以輕鬆get，完成意圖辨識、進行動態互動：

（給我給我啊餵，算了我收手）

具體技術細節，這就揭秘～

人型雙臂系統通用性實現

通用人形機器人無疑是近年來機器人與AI交叉領域的研究熱點。

其中的人形雙臂系統直接承載著這類機器人操作任務的執行能力。

任意抓取和操作具有各種幾何和物理特性的任意物體則是這類系統通用化的技術體現。

而現有研究工作大多專注於解決某一特定層級的問題，例如環境-物件的知覺、推理與策略產生、機器人系統的規劃或操作控制。

且方案通常與特定的被操作物體或任務強相關，難以遷移和泛化。

騰訊Robotics X實驗室指出，要實現這樣的通用化雙臂系統，需要解決現有研究工作中三個關鍵的共通性問題。

首先，如何基於視覺感知實現未知物體的雙臂協同最佳抓取。

其次，如何確保工作空間高度重疊的雙臂機器人在動態協同過程中的系統安全性。

最後，如何將豐富的人類技能轉移到僅擁有有限追蹤介面類型的機器人系統中。

在此，騰訊Robotics X實驗室提出的包含兩個相互耦合關聯的子框架：

1、基於學習的靈巧可達感知子框架採用端對端評估網路和機器人可達性機率化建模，實現對未建模物體的最優協同抓取。

2、基於最佳化的多功能控制子框架則採用層級化的多優先級最佳化框架，並透過嵌入基於學習產生的輕量級距離代理函數和黎曼流形上的速度級追蹤控制技術。

同時實現了高精度雙臂避自碰和高擬真雙臂操作度橢球跟踪，保證了雙臂系統的本質安全並開放了操作度橢球跟踪接口。

此外，研究也首次系統性地解決了基於視覺感知的未知物體雙臂協同最優抓取，實現了工作空間高度重疊的雙臂機器人本質安全並開放了可用於人機技能遷移學習的雙臂協同操作度橢球追蹤介面。

最終，該系統在感知層、雙手抓取、協同操作規劃和底層控制等方面提供了豐富的接口，具有很高的通用性、可擴展性和兼容性。

技術細節如下：

靈巧可達感知子框架

圍繞靈巧可達感知子框架，為實現對未知物體的雙臂協同抓取，需要為雙臂系統自主產生可執行的靈巧最優抓取對。

研究人員從資料集生成，抓取品質評估網路和雙臂機器人可達性機率化建模三個層面著手，系統性設計了靈巧-可達感知雙臂抓取子框架，實現視覺系統感知到的物體3D點雲到靈巧-可達最優的雙臂6D抓取位姿對之間的端對端映射。

1、雙臂靈巧感知抓取資料集

為建立精確的輸入點雲與輸出雙臂抓取品質之間的映射關係並有效訓練抓取評估網絡，研究人員提出了業界首個大規模靈巧性感知的雙臂抓取合成資料集（DA2 Dataset）。

此資料集包含6327個物體的Mesh和超過900萬組抓取對，每一組抓取都採用抓取奇異性-抓取穩定性-抓取力兼容性三個指標做了標註。

2、雙臂協同抓取品質評估網路

實際場景中一般可採用例如啟發式取樣等技術在感知到的物體3D點雲上產生候選抓取對，為即時線上評估這些候選抓取對的品質並輸出最佳解。

研究人員設計了面向雙臂協同抓取的品質評估網路Dual-PointNetGPD，並利用DA2資料集進行訓練。

相較於基於簡化接觸力模型和依賴精確物體幾何特徵的傳統分析方法而言，基於學習的Dual-PointNetGPD可以直接處理有噪音的3D點雲並對候選雙臂抓取構型的靈巧性和可靠性進行評估。

因而對廣泛存在的視覺感知噪音具有更高的穩健性。

3、雙臂可達性建模與最優抓取分配

Dual-PointNetGPD從視覺感知的角度輸出抓取對品質評估結構，針對特定的雙臂機器人系統，還需要從機器人本體角度考慮候選抓取對在機器人操作空間中的可及性問題和抓取對在雙臂之間的分配問題。

研究人員採用單位四元數高斯混合模型建模技術對雙臂6自由度工作空間進行建模並設計了機率最大化分配策略，實現了雙臂抓取可達性與抓取靈巧性評估的融合統一。

多功能協同操作控制子框架

針對多功能協同操作控制子框架，具備協同抓取未知物體的能力是實現雙臂通用化的第一步，而具備本體安全感知的協同操作運動規劃是銜接通用抓取並實現通用操作的第二步。

由於人形雙臂機器人系統的兩條機械手臂的工作空間往往高度重疊，對於執行雙臂動態任務的機器人本體而言，避自碰撞需要放在運動規劃中的最高優先級，在提升避碰精度的同時還需要減少線上運算代價以確保避碰即時性。

此外，作為重要的操作性能指標和機器人技能表徵之一，雙臂協同操作度橢球需要被連續控制以實現對機械臂構型的即時優化，從而提高雙臂系統的操作靈巧度，避免因操作奇異性而導致的任務失敗。

研究人員為此設計了一個新型的多功能協同操作控制子框架。

該框架基於層級化的多目標多優先級最佳化框架，將學習得到的輕量級雙臂最小距離代理函數和黎曼流形速度追蹤任務以不等式約束的形式嵌入到不同的優先級中。

從而實現了雙臂操作運動規劃的本質安全性與人機技能遷移學習中雙臂構型優化的高擬真性。

1、雙臂高精準度避自碰

△ 工作空間高度交疊的人形雙臂機器人

取得精確可靠的描述雙臂碰撞邊界的最小距離函數是將避碰約束嵌入到多優先權最佳化框架中並實現雙臂避自碰的關鍵一步。

由於雙臂構型空間維度高且工作空間相互交疊，使得其中的安全子空間與碰撞子空間分佈嚴重失衡而難以分割開。

研究人員提出了一種新穎的基於主動學習的採樣方法，用於產生大規模的、平衡的、資訊豐富的雙臂碰撞資料集。

然後透過機器學習的方式對雙臂最小距離關於雙臂構型的映射關係予以擬合，從而高效獲取高精度的最小距離代理函數。

△基於主動學習的取樣演算法示意

2、基於黎曼幾何的雙臂協同操作度橢球追蹤

除避自碰以外，操作度橢球追蹤因其與操作技能和操作構型強相關，也是雙臂系統控制中需要重點處理的問題。

雙臂操作度橢球由對稱正定矩陣（SPD）來描述，研究人員透過設計流形空間中的速度前饋項並結合誤差控制原理，實現了雙臂操作度橢球的即時追蹤以及追蹤誤差的全域指數收斂，並給出了完整的理論分析與證明。

雙臂操作度橢球追蹤任務以等式約束的形式嵌入到了多優先權最佳化框架中並以雙臂操作度橢球追蹤介面的形式呈現。

3、多優先級最佳化與控制器設計

研究人員採用協同任務空間變數（雙臂絕對運動與雙臂相對運動）來描述所有的雙臂協同-非協同/同步-非同步任務，並基於多目標多優先框架設計了雙臂通用協同操作控制的系統框架。

該框架將上述雙臂避自碰，雙臂操作度橢球追蹤等多任務進行有機融合在一起，從而在運動規劃與控制層面為雙臂通用化掃清了障礙。

協同抓取、避自碰樣樣出色

為驗證雙臂最優協同抓取，雙臂避自碰以及雙臂協同操作度橢球追蹤方面的有效性，研究人員就所設計的Dual-PointNetGPD網路、學習產生的雙臂最小距離代理函數以及SPD流形追蹤誤差進行了定量分析。

1、雙臂最優協同抓取 研究人員在實體模擬引擎中進行了大規模消融實驗，結果顯示所設計和訓練的Dual-PointNetGPD網路有效提升了大尺寸未建模物體抓取任務中的雙臂協同抓取成功率。

2、雙臂避自碰
主要從雙臂碰撞資料集產生與雙臂最小距離代理函數兩個維度做分析，考慮到雙臂構型空間是14維，以20-30°為採樣步長進行低精度採樣，每一維分成10等分，所需的資料集規模也達到了1014。

研究人員使用基於主動學習的採樣技術產生雙臂碰撞資料集，200萬資料規模的前提下即可實現95%以上的高預測精度，相較於目前在非平衡資料集學習中廣泛使用的b-SMOTE等技術而言具有更高的資料效率和預測精度。

△平均预测误差与预测准确性分析

此外，基于学习训练生成的双臂最小距离代理函数计算一次双臂最小距离的时间约为0.072ms,显著低于被广泛使用的FCL算法库所需的5.36ms，且方差更小。

这极大地提升了该方法在实际部署时的实时性并保证了整个双臂协同运动规划的稳定可预测。

此外，代理函数展现了优异的连续性和可微性，这对于将避自碰以不等式约束的形式嵌入到平滑多目标优化框架中非常重要。

△表计算时间对比分析

△平滑性对比分析

3、双臂协同操作度椭球跟踪

通过消融实验验证了所设计并嵌入到多目标优化框架中的操作都椭球跟踪约束有效地降低了双臂实际构型与期望构型之间的差异，验证了SPD流形跟踪接口的有效性。

4、双臂协同翻转实验：

为验证自主避自碰能力，研究人员设计了需要极限扭转的协同翻转实验中。

在该实验中，双臂系统自主完成了互缠绕无碰轨迹运动规划，在不改变抓握构型的前提下实现了对椅子360°翻转操作。

物体的绝对运动在回转方向上始终保持高精度跟踪，在其他自由度上则动态地自主松弛，双臂相对运动误差低于0.003 （m 或rad），避碰安全距离被高效压缩到了2.5 cm。

同时整个多功能协同操作控制子框架在采用机械臂高精度网格模型下的典型计算时间为8.318 ms，解决了高精度和高实时性不可同时实现的困境。

以上结果也表明各级任务严格按照所给定的优先级执行。

在long-horizo​​n重排實驗中，雙臂機器人系統連續抓取和操作人居環境中常見的桌面書架，儲物籃和顯示器支架這3個未建模物體。

實驗結果顯示雙臂機器人在所設計的通用框架下能協同抓取大尺寸物體並能在執行複雜協同操作任務過程中全自主高精度避自碰。

總結：

可以看到，該研究首次系統性解決了基於視覺感知的未知物體雙臂協同最優抓取，實現了工作空間高度重疊的雙臂機器人本質安全，並開放了可用於人機技能遷移學習的雙臂協同操作度橢球追蹤介面。

這一自上而下研究具身智能並至下而上研究機器人操作規劃與控制的工作，有助於彌合AI與Robotics之間的技術鴻溝，提升基於AI生成的操作策略在物理世界中執行的穩定性和可靠性，加速雙臂系統全自主通用化的到來。

論文網址：https://ieeexplore.ieee.org/document/10449470

以上是騰訊機器人研究登頂！能幫程式設計師安顯示器，像真人一樣協同工作的詳細內容。更多資訊請關注PHP中文網其他相關文章！