零樣本6D物體姿勢估計框架SAM-6D，向具身智慧更進一步

物件姿態估計在許多現實世界應用中扮演關鍵角色，如具身智慧、機器人靈巧操作和擴增實境等領域。

在這一領域中，最先受到關注的任務是實例層級6D 姿態估計，其需要關於目標物件的標註資料進行模型訓練，使深度模型具有物體特定性，無法遷移應用到新物體上。後來研究熱點逐步轉向類別層級 6D 姿態估計，用於處理未見過的物體，但要求該物體屬於已知感興趣的類別。

而零樣本6D 姿態估計是一種更具泛化性的任務設置，給定任意物體的CAD 模型，旨在在場景中檢測出此目標物體，並估計其6D 姿態。儘管其具有重要意義，這種零樣本的任務設定在物體檢測和姿態估計方面都面臨著巨大的挑戰。

圖1.零樣本6D 物件姿態估計任務示意圖

最近，分割一切模型SAM [1] 備受關注，其優異的零樣本分割能力令人矚目。 SAM 透過各種提示，如像素點、包圍框、文字和遮罩等，實現高精度的分割，這也為零樣本 6D 物體姿態估計任務提供了可靠的支撐， 展現了其前景的潛力。

因此，研究人員從跨維智能、香港中文大學（深圳）、華南理工大學聯合提出了一種創新的零樣本6D物體姿態估計框架SAM-6D。這項研究已被CVPR 2024收錄。

#

• 論文連結: https://arxiv.org/pdf/2311.15707.pdf
• 程式碼連結: https ://github.com/JiehongLin/SAM-6D

#SAM-6D 透過兩個步驟來實現零樣本6D 物件姿態估計，包括實例分割和姿態估計。相應地，給定任意目標物體，SAM-6D 利用兩個專用子網絡，即實例分割模型（ISM）和姿態估計模型（PEM），來從RGB-D 場景圖像中實現目標；其中，ISM 將SAM 作為一個優秀的起點，結合精心設計的物體匹配分數來實現對任意物體的實例分割，PEM 透過局部到局部的兩階段點集匹配過程來解決物體姿態問題。 SAM-6D 的總覽如圖 2 所示。

圖2. SAM-6D 總覽圖

整體來說，SAM-6D 的技術貢獻可概括如下：

• SAM-6D 是一個創新的零樣本6D 姿態估計框架，透過給定任意物件的CAD 模型，實現了從RGB-D 影像中對目標物體進行實例分割和姿態估計，並在BOP [2] 的七個核心資料集上表現優異。
• SAM-6D 利用分割一切模型的零樣本分割能力，產生了所有可能的候選對象，並設計了一個新穎的物體匹配分數，以識別與目標物體對應的候選對象。
• SAM-6D 將姿態估計視為一個局部到局部的點集匹配問題，採用了一個簡單但有效的Background Token 設計，並提出了一個針對任意物體的兩階段點集匹配模型；第一階段實現粗糙的點集匹配以獲得初始物體姿態，第二階段使用新穎的稀疏到稠密點集變換器以進行精細點集匹配，從而對姿態進一步優化。

實例分割模型(ISM)

#SAM-6D 使用實例分割模型（ISM）來偵測並分割出任意物體的掩膜。

給定一個由 RGB 影像表徵的雜亂場景，ISM 利用分割一切模型（SAM）的零樣本遷移能力產生所有可能的候選對象。對於每個候選對象，ISM 為其計算一個物體匹配分數，以估計其與目標物體在語義、外觀和幾何方面的匹配程度。最後透過簡單設定一個匹配閾值，即可辨識出與目標物體所匹配的實例。

物件匹配分數的計算透過三個匹配項的加權求和得到:

#

語義匹配項 —— 針對目標物體，ISM 渲染了多個視角下的物體模板，並利用DINOv2 [3] 預先訓練的ViT 模型提取候選對象和物體模板的語意特徵，計算它們之間的相關性分數。將前 K 個最高的分數進行平均即可得到語意配對項分數，而最高相關性分數對應的物件範本視為最匹配範本。

外觀匹配項 —— 對於最匹配模板，利用ViT 模型提取圖像塊特徵，併計算其與候選對象的塊特徵之間的相關性，從而獲得外觀匹配項分數，用於區分語義相似但外觀不同的物體。

幾何匹配項 — 鑑於不同物件的形狀和大小差異等因素，ISM 也設計了幾何匹配項分數。最匹配模板對應的旋轉與候選對象點雲的平均值可以給出粗略的物體姿態，利用該姿態對物體 CAD 模型進行剛性變換並投影可以得到邊界框。計算該邊界框與候選邊界框的交並比（IoU）則可得幾何匹配項分數。

姿態估計模型(PEM)

#對於每個與目標物體匹配的候選對象，SAM-6D 利用姿態估計模型（PEM ）來預測其相對於物體CAD 模型的6D 姿態。

將分割的候選物件和物件CAD 模型的取樣點集分別表示為 和，其中N_m和N_o 表示它們點的數量；同時，將這兩個點集的特徵表示為和，C 表示特徵的通道數。 PEM 的目標是得到一個分配矩陣，用來表示從P_m 到P_o 之間的局部到局部對應關係；由於遮蔽的原因，P_o 只部分與匹配P_m，而由於分割不準確性和感測器噪聲，P_m 也只部分與匹配P_o。

為了解決兩個點集非重疊點的分配問題，ISM 為它們分別配備了Background Token，記為  和 #，則可以基於特徵相似性有效地建立局部到局部對應關係。具體來說，首先可以計算注意力矩陣如下：

接著可得分配矩陣

## 和  分別表示沿著行和列的softmax 操作， 表示一個常數。  

中的每一行的值（除了首行），表示點集P_m 中每個點P_m 與背景及P_o 中點的匹配機率，透過定位最大分數的索引，則可以找到與P_m 相符的點（包括背景）。

一旦計算獲得 

 ，則可以聚集所有符合點對{(P_m,P_o)} 以及它們的配對分數，最終利用加權SVD 計算物體姿態。

圖 3. SAM-6D 中姿態估計模型 (PEM) 的示意圖#######

利用上述基於Background Token 的策略，PEM 中設計了兩個點集匹配階段，其模型結構如圖3 所示，包含了特徵提取、粗略點集匹配和精細點集匹配三個模組。

粗糙點集匹配模組實現稀疏對應關係，以計算初始物體姿態，隨後利用該姿態來對候選對象的點集進行變換，從而實現位置編碼的學習。

精細點集匹配模組結合候選物件和目標物件的取樣點集的位置編碼，從而注入第一階段的粗糙對應關係，並進一步建立密集對應關係以獲得更多精確的物體姿態。為了在這一階段有效地學習密集交互，PEM 引入了一個新穎的稀疏到稠密點集變換器，它實現在密集特徵的稀疏版本上的交互，並利用Linear Transformer [5] 將增強後的稀疏特徵擴散回密集特徵。

實驗結果

對於SAM-6D 的兩個子模型，實例分割模型（ISM）是基於SAM 建構而成的，無需進行網路的重新訓練和finetune，而姿態估計模型（PEM）則利用MegaPose [4] 提供的大規模ShapeNet-Objects 和Google-Scanned-Objects 合成資料集進行訓練。

為驗證其零樣本能力，SAM-6D 在BOP [2] 的七個核心資料集上進行了測試，包括了LM-O，T-LESS，TUD- L，IC-BIN，ITODD，HB 和YCB-V。表 1 和表 2 分別展示了不同方法在這七個資料集上的實例分割和姿勢估計結果的比較。相較於其他方法，SAM-6D 在兩種方法上的表現均十分優異，充分展現其強大的泛化能力。

表1. 不同方法在BOP 七個核心資料集上的實例分割結果比較

表2. 不同方法在BOP 七個核心資料集上的姿態估計結果比較

圖4 展示了SAM-6D 在BOP 七個資料集上的檢測分割以及6D 姿態估計的可視化結果，其中(a) 和(b) 分別為測試的RGB 影像和深度圖，(c) 為給定的目標物體，而(d) 和(e ) 則分別為偵測分割和6D 姿態的可視化結果。

#

圖 4. SAM-6D 在 BOP 的七個核心資料集上的視覺化結果。

關於 SAM-6D 的更多實作細節， 歡迎閱讀原文.

以上是零樣本6D物體姿勢估計框架SAM-6D，向具身智慧更進一步的詳細內容。更多資訊請關注PHP中文網其他相關文章！