微軟提出預測鉸接物件姿態技術，用於AR/VR身體姿態捕捉的專利

（映維網Nweon 2023年09月18日）為了準確地表示人類用戶的真實世界姿態，通常需要相對詳細的關於用戶身體部位位置和方向的信息，但這些信息並不總是可用。例如，當使用頭戴式裝置提供虛擬實境體驗時，系統可能只能取得與使用者頭部和手部相關的空間資訊。然而，在大多數情況下，這是不足以準確地重現人類使用者的真實姿態的

所以在名為「Pose prediction for articulated object」的專利申請中，微軟提出了一種預測鉸接物件的姿態的技術。特別地，機器學習模型接收到鉸接物件的n個不同關節的空間訊息，其中n個關節小於鉸接物件的所有關節。

在人類使用者的情況下，n個關節可以包括人類使用者的頭部關節和/或一個或兩個手腕關節，它們與詳細說明使用者頭部和/或手的參數的空間資訊相關聯

機器學習模型已訓練為接收鉸接物件的n m個關節的輸入空間訊息，其中m大於等於1。例如，在初始訓練期間，機器學習模型會接收到與鉸接物件的幾乎所有關節相對應的輸入資料。所述n m個關節可包括所鉸接對象的每一個關節。

在其他範例中，可能存在少於鉸接物件的所有關節的情況下，有n m個關節。在訓練過程中，輸入給機器學習模型的資料可能會逐漸被隱藏。可以用預先定義的值來取代特定節點在m個節點中對應的輸入數據，或乾脆省略

換句話說，機器學習模型訓練成基於關於鉸接物件的各種可移動部分的位置/方向的逐漸減少的資訊來準確預測鉸接物件的姿態。

使用這種方法，機器學習模型能夠在運行時準確預測鉸接物體的姿態，而且只需稀疏的輸入資料。微軟指出，這項技術可以精確地再現人類使用者鉸接物體在真實世界中的姿態，而無需大量關於每個關節方向的資訊

換句話說，透過更準確地再現人類使用者的真實世界姿勢，發明可以提供改進人機互動的技術優勢。這些技術優勢包括提高虛擬實境體驗的沉浸感，以及提高手勢辨識系統的準確性

另外，所述技術可以透過減少必須作為姿態預測過程的輸入而收集的資料量，從而在準確地重現人類使用者的真實姿態的同時減少計算資源的消耗。

範例方法200展示了用於預測鉸接物件姿態的圖2

在第202處，接收n個關節的空間訊息，這些關節是用來鉸接物體的。系統接收到鉸接物件的n個關節的空間訊息，其中包含的關節數量少於鉸接物件的所有關節。將關節的空間資訊表示為連接身體部位的六個自由度的位置和方向，可以用來推斷關節的狀態

作為一個範例，所述n個關節可包括人體的頭部關節，所述頭部關節的空間資訊可詳細描述人體頭部的參數。另外，所述n個關節可包括人體的一個或多個腕關節，所述一個或多個腕關節的空間資訊可詳細描述人體的一隻或多隻手的參數。

圖3顯示了人類使用者。人類用戶有一個頭300和兩隻手302A和302B。計算系統可以接收人類使用者的一個或多個關節的空間訊息，其可以包括頭部和/或手腕關節。

所述鉸接物件的n個關節的空間資訊可由一個或多個感測器輸出的定位資料匯出。感測器可以整合到一個或多個由人類使用者的相應身體部位持有或佩戴的設備之中。

例如，感測器可以包括一個或多個整合到頭戴式顯示裝置和/或手持控制器中的慣性測量單元。作為另一個例子，感測器可以包括一個或多個攝影機。

圖3示意性地說明了不同類型的感測器，其中來自感測器的輸出可以包括或可用於導出空間資訊。具體地，人類使用者在其頭部300佩戴頭戴式顯示設備304。

另外，人類使用者手持位置感測器306A和306B，所述位置感測器可配置為偵測並向頭顯 304和/或配置為接收空間資訊的另一計算系統報告使用者手部的移動。

在圖2中，我們回到了204的情境。我們將n個關節的空間資訊傳遞給先前進行過訓練的機器學習模型。這個模型接收n m個關節的空間資訊作為輸入，其中m的值大於等於1。換句話說，相較於先前的訓練模型，這個機器學習模型所接收的關​​節空間資訊要少一些

在206中，從機器學習模型接收作為輸出的關節物件的姿態預測，所述預測至少基於n個關節的空間訊息，並且不包含它們的關節的空間資訊。換句話說，即便沒有提供m個關節的空間訊息，機器學習模型都可以預測關節物件的完整姿態。

示意圖4展示了一個範例機器學習模型400，以說明這個過程

在圖4中，機器學習模型接收到空間資訊402，對應三個不同的關節J1、J2、J3。關節的空間資訊可以採用任何適當的電腦資料的形式，而所述資料指定或可用於匯出與關節相連的身體部位的位置和/或方向。

例如，空間資訊可以直接指定身體部位的位置和方向，和/或空間資訊可以指定關節相對於一個或多個旋轉軸的一個或多個旋轉。在圖4中，關節J1、J2、J3對應人類使用者的頭部關節404A和兩個手腕關節404B/404C，如圖使用者身體上疊加的陰影圓圈所示。

在本例中，n個關節包括三個關節，分別對應人體的頭部和手腕關節。基於所述輸入空間資訊402，所述機器學習模型輸出所述鉸接物件的預測位姿406。

另外，機器學習模型可以輸出與虛擬鉸接表示的關節相對應的預測空間資訊。人類使用者可以由具有卡通或非人類比例的虛擬化身Avatar表示。例如，預測的空間資訊可能對應於SMPL表示的關節。

換句話說，鉸接表示的虛擬表示的關節不必與鉸接物體的關節具有1:1的對應關係。因此，機器學習模型預測的空間資訊輸出可以是針對與鉸接對象的n m個關節不直接對應的關節。例如，虛擬表示可能比鉸接物件具有更少的脊椎關節。

機器學習模型可以用任何合適的方式來訓練。在一個實施例中，機器學習模型可能先前使用具有鉸接物件的ground truth標籤的訓練輸入資料進行訓練。

換句話說，可以為機器學習模型提供鉸接對象關節的訓練空間信息，並標記為指定空間信息所對應的鉸接對象的實際姿態的ground truth標籤。

如上所述，可以訓練機器學習模型以接收n m個關節的空間資訊作為輸入。這包括，在第一次訓練迭代中，為機器學習模型提供所有n m個關節的訓練輸入資料。在隨後的一系列訓練迭代中，m個關節的訓練輸入資料可以逐漸被屏蔽。

例如，在第二次訓練迭代中，m個關節中的第一個關節可以被屏蔽，其中訓練資料集中關節的空間資訊替換為表示被屏蔽關節的預定義值，或乾脆省略。

作為範例。在第三次訓練迭代中，m個關節中的第二個關節可以被屏蔽，以此類推，直到m個關節都被屏蔽，並且只向機器學習模型提供了n個關節的空間資訊。

這過程用圖5a-5d說明。具體而言，在圖5A中，為機器學習模型400提供了一個訓練輸入資料集。在本實施例中，訓練輸入資料包括與所述鉸接物件的多個不同姿態相對應的空間訊息，包括第一姿態502A和第二姿態502B。

在圖5A中，我們提供了n m個關節的空間信息，用於機器學習模型的鉸接對象。在人體的簡化表示中，每個代表關節的圓圈都以白色填滿模式來表示。然而，在圖5B中，我們屏蔽了504A，如圖所示，用黑色填滿圖案來表示接頭504A的圓圈

換句話說，圖5A表示了訓練過程的初始迭代，其中提供了所有n m個關節的空間資訊給機器學習模型。而圖5B則表示了訓練過程的第二次迭代，其中屏蔽了m個關節中的第一個關節504A

在圖5C中，所述鉸接表示的m個關節中的第二關節504B被遮蔽。同樣，在圖5D中，m個關節中的第三個關節被遮蔽。可以持續進行多次訓練迭代，直到m個關節中的每個關節的空間資訊被屏蔽，並且只向機器學習模型提供n個關節的空間資訊。

在上述場景中，我們描述了鉸接物件為人體全身的情況。然而，鉸接物件也可以採用其他形式

如圖7所示，鉸接對像是人手，而不是整個人體。具體而言，圖7顯示了一個範例機器學習模型700。

機器學習模型700接收關節J1、J2和J3的空間訊息，它們對應於一個鉸接物體的三個關節704A-C，在本例中採用人手706的形式。

在這種情況下，具體來說，n個關節包括人手的一個或多個手指關節。一個或多個手指關節的空間資訊詳細描述了人手的一個或多個手指或手指段的參數。例如，空間資訊可以指定手的手指的位置/方向，和/或應用於手關節的旋轉

可以使用任何合適的方法來收集關節空間信息，例如透過位置感測器708。舉個例子，位置感測器可以採用配置為對手部進行成像的攝影機形式。另一個例子是，位置感測器可以包括適當的射頻天線，其配置為將手部表面暴露在電磁場中，並評估導電人體皮膚的運動和接近對天線處電磁場阻抗的影響

根據輸入的空間資訊702，機器學習模型會輸出一組預測的空間資訊710。空間資訊710可以用來建構預測的鉸接對象的位姿。如前面所述，這些空間資訊可以表示鉸接物件身體部位的位置和方向

相關專利：Microsoft Patent | Pose prediction for articulated object

微軟最初在2022年6月提交了一份名為「Pose prediction for articulated object」的專利申請，並且該申請近日被美國專利商標局公佈

以上是微軟提出預測鉸接物件姿態技術，用於AR/VR身體姿態捕捉的專利的詳細內容。更多資訊請關注PHP中文網其他相關文章！