並行人體姿態估計專利：微軟AR/VR技術實現虛擬表示

（映維網Nweon 2023年11月13日）關於人類使用者姿勢的資訊可以對應到虛擬鉸接表示。例如，當參與虛擬實境環境時，人類使用者在虛擬環境中的表現會呈現與現實世界姿勢相似的姿勢。使用者的真實世界姿態可以透過先前訓練的模型轉換為虛擬鉸接表示的姿態，模型可以訓練為輸出用於最終渲染的相同虛擬鉸接表示姿態。

有時候系統需要展現不真實的表現。例如，使用者可以選擇不同身體比例、骨骼或其他方面的卡通角色

根據圖1所示，真實世界環境102中的人類使用者100被展示出來。可以看到，人類使用者的姿勢被應用到鉸接表示104。換句話說，當人類使用者在真實世界環境中進行活動時，對應的動作會轉化為虛擬環境106中鉸接表示104的運動

有時候，虛擬鉸接表示與用於訓練模型的表示可能不同，需要重新編寫。為了解決這個問題，微軟專利「Concurrent human pose estimates for virtual representation」介紹了一項技術，能夠同時估計模型鉸接表示和目標鉸接表示的姿態

具體來說，計算系統至少部分地基於來自一個或多個感測器的輸入，接收人類使用者一個或多個身體部位的詳細參數的定位資料。這些感測器可以包括頭顯的慣性測量單元輸出，以及適當攝影機的輸出

重寫後的內容為：系統會同時維護一個或多個與目標關節表示相關聯的模型關節表示的映射約束，例如關節映射約束。姿態最佳化機會透過定位資料和映射約束，同時估計模型關節表示的姿態和目標關節表示的目標姿勢。一旦完成估計，系統可以將目標關節表示和目標姿勢一起顯示為虛擬表示，供人類使用者查看

姿態最佳化機可以使用具有用於模型鉸接表示的ground truth標籤的訓練定位資料進行訓練。然而，訓練定位資料可能缺乏目標鉸接表示的ground truth標籤。

透過這種方法，可以有效地實現對真實世界姿態的準確再現，而無需對每個不同的潛在目標進行昂貴的訓練計算。這種技術的發明描述可以對人類使用者產生正面的影響

當使用者參與虛擬環境時，他們可以選擇不同的Avatar來代表自己，並且可以在交流過程中隨時改變外觀。可以將新的目標鉸接表示添加到可供使用者選擇的表示選單中，而無需為特定表示重新訓練模型，從而節省計算費用

發明描述的技術可以提供減少計算資源消耗的技術優勢，同時準確地重新創建人類用戶的真實世界姿勢，並允許將準確的姿勢應用於多個不同目標鉸接表示中的任何一個。具體方法是透過同時估計目標和模型的姿勢。

在圖2中展示了用於虛擬表示人體姿勢的範例方法200

在202，基於來自一個或多個感測器的輸入，接收人類使用者的一個或多個身體部位的詳細參數的定位資料。

在204年，需要維護一個或多個與目標鉸接表示相關的映射約束，以確保模型的連結。如圖4所示，展示了一個範例模型鉸接表示400

如上所述，目標鉸接表示呈現用於在虛擬環境中顯示，並且可以透過姿態最佳化機輸出目標姿態來顯示。例如，目標鉸接表示可以具有任何合適的外觀和比例，並且可以具有任何合適數量的肢體、關節和/或其他可移動的身體部位。

可以改寫為：目標鉸接表示可以代表非人類動物、虛構角色或任何合適的Avatar。模型鉸接表示和目標鉸接表示透過一個或多個映射約束402進行關聯

一個或多個映射約束可以包括聯合映射約束404。對於目標鉸接表示的關節，關節映射約束指定模型鉸接表示中的一組一個或多個關節。例如，模型鉸接表示400包括多個關節，其中兩個標記為403A和403B，其對應於肩關節和肘關節。

104號目標鉸接包括類似的關節405A和405B。因此，目標表示的關節405A和405B可能有多個不同的關節映射約束，表示這些關節映射到模型表示的關節403A和403B

關節映射約束可以進一步指定每個模型關節在映射到目標關節表示時的權重。例如，當模型的鉸接表示只有一個關節映射到目標鉸接表示的特定關節時，該模型關節的權重可能為100%。而當兩個模型關節映射到目標關節時，兩個模型關節的權重可以是50%和50%、30%和70%、10%和90%等

在圖2中，方法200透過對先前訓練的位姿進行最佳化，同時估計模型鉸接表示的模型位姿和目標鉸接表示的目標位姿。模型位姿和目標位姿的估計至少部分依賴定位資料

圖5A示意性地示出了位姿優化機500的範例，其可以作為計算機邏輯組件的任何合適組合來實現。作為一個非限制性範例，位姿優化機500可以實現為如圖6所述的邏輯子系統602。

如圖5A所示，姿態優化機同時估計模型鉸接表示的模型姿態502A和目標鉸接表示的目標姿態502B。這至少部分地基於定位資料504和一個或多個映射約束506來完成。

姿態估計可以至少部分地基於在一個或多個先前時間框架估計的一個或多個先前模型姿態和先前目標姿態來完成。因此，位姿優化機器500儲存多個先前的位姿506，其可以表示為每個模型關節的多個局部旋轉。

一個或多個映射約束可以包括位姿連續性約束，它施加幀對幀的限制，限制給定關節的局部旋轉可以從一個幀改變到另一個幀的程度。 可以將一組映射約束應用於位姿連續性，透過限制幀與幀之間的變化程度，來約束給定關節的局部旋轉

圖5B以示意的方式展示了將估計的模型和目標姿態應用於模型和目標鉸接表示的過程。具體來說，圖5B再次展示了模型鉸接表示400和目標鉸接表示104對應的預設姿態407A和407B。然後，透過改變鉸接的方向，使得模型鉸接表示400假設模型姿態502A，目標鉸接表示104假設目標姿態502B

在姿態優化中，需要同時估計模型的位姿和目標的位姿。換句話說，與其他方法不同，姿態最佳化機不是先輸出模型的姿態表示，然後將其轉換為目標的姿態表示。相反，姿態估計是同時找到滿足一組限制的模型姿態和目標姿勢的過程

例如，模型鉸接表示的姿態可以受到姿態優化機器的先前訓練的約束，以輸出給定一組定位數據的可能的人類姿態，並且目標鉸接表示的姿態可以受到將目標鉸接表示與模型鉸接表示相關聯的一個或多個映射約束的約束。

另外，在先前的訓練中，姿態估計可以由執行姿態優化的機器學習模型508來實現。在一個實例中，姿態優化機可以被配置為基於稀疏輸入定位資料輸出姿態。換句話說，姿態優化機可以透過訓練來輸出更準確的姿態估計，這取決於在運行時接收到的更多輸入參數

換句話說，姿態優化機接收到的定位資料可能包含人類使用者的n個關節的旋轉參數。在先前的訓練中，姿態優化機接收的是n m個關節的旋轉參數作為輸入，其中m大於1。然後，估計模型的姿勢可以透過估計模型鉸接表示的n m個模型關節的旋轉參數來確定，至少需要基於n個關節的旋轉參數，而不需要基於m個關節的旋轉參數

另外，訓練姿態最佳化機時，不需要包含目標鉸接表示的ground truth標籤。相反，透過一個或多個映射約束，將標鉸接表示與模型鉸接表示相關聯，通常將目標姿態約束為與模型姿態基本相似

微軟指出，採用上述技術，過程的速度可以有益地提高兩個數量級。這可以實現模型和目標姿態的即時並發估計，而無需使用專門的硬體加速。

在圖2中，方法200包括輸出具有目標姿態的目標鉸接表示作為人類用戶的虛擬表示以供顯示，該步驟發生在208。例如，在圖1中，目標鉸接表示104透過電子顯示設備108進行展示。用於展示目標鉸接表示的顯示裝置可以採用任何適當的形式，並且可以使用任何適當的底層顯示技術

相關專利：Microsoft Patent | Concurrent human pose estimates for virtual representation

名為「Concurrent human pose estimates for virtual representation」的微軟專利申請最初在2022年4月提交，並在日前由美國專利商標局公佈。

以上是並行人體姿態估計專利：微軟AR/VR技術實現虛擬表示的詳細內容。更多資訊請關注PHP中文網其他相關文章！