(映維網Nweon 2023年09月18日)為了準確地表示人類用戶的真實世界姿態,通常需要相對詳細的關於用戶身體部位位置和方向的信息,但這些信息並不總是可用。例如,當使用頭戴式裝置提供虛擬實境體驗時,系統可能只能取得與使用者頭部和手部相關的空間資訊。然而,在大多數情況下,這是不足以準確地重現人類使用者的真實姿態的
所以在名為「Pose prediction for articulated object」的專利申請中,微軟提出了一種預測鉸接物件的姿態的技術。特別地,機器學習模型接收到鉸接物件的n個不同關節的空間訊息,其中n個關節小於鉸接物件的所有關節。
在人類使用者的情況下,n個關節可以包括人類使用者的頭部關節和/或一個或兩個手腕關節,它們與詳細說明使用者頭部和/或手的參數的空間資訊相關聯
機器學習模型已訓練為接收鉸接物件的n m個關節的輸入空間訊息,其中m大於等於1。例如,在初始訓練期間,機器學習模型會接收到與鉸接物件的幾乎所有關節相對應的輸入資料。所述n m個關節可包括所鉸接對象的每一個關節。
在其他範例中,可能存在少於鉸接物件的所有關節的情況下,有n m個關節。在訓練過程中,輸入給機器學習模型的資料可能會逐漸被隱藏。可以用預先定義的值來取代特定節點在m個節點中對應的輸入數據,或乾脆省略
換句話說,機器學習模型訓練成基於關於鉸接物件的各種可移動部分的位置/方向的逐漸減少的資訊來準確預測鉸接物件的姿態。
使用這種方法,機器學習模型能夠在運行時準確預測鉸接物體的姿態,而且只需稀疏的輸入資料。微軟指出,這項技術可以精確地再現人類使用者鉸接物體在真實世界中的姿態,而無需大量關於每個關節方向的資訊
換句話說,透過更準確地再現人類使用者的真實世界姿勢,發明可以提供改進人機互動的技術優勢。這些技術優勢包括提高虛擬實境體驗的沉浸感,以及提高手勢辨識系統的準確性
另外,所述技術可以透過減少必須作為姿態預測過程的輸入而收集的資料量,從而在準確地重現人類使用者的真實姿態的同時減少計算資源的消耗。
範例方法200展示了用於預測鉸接物件姿態的圖2
在第202處,接收n個關節的空間訊息,這些關節是用來鉸接物體的。系統接收到鉸接物件的n個關節的空間訊息,其中包含的關節數量少於鉸接物件的所有關節。將關節的空間資訊表示為連接身體部位的六個自由度的位置和方向,可以用來推斷關節的狀態
作為一個範例,所述n個關節可包括人體的頭部關節,所述頭部關節的空間資訊可詳細描述人體頭部的參數。另外,所述n個關節可包括人體的一個或多個腕關節,所述一個或多個腕關節的空間資訊可詳細描述人體的一隻或多隻手的參數。
圖3顯示了人類使用者。人類用戶有一個頭300和兩隻手302A和302B。計算系統可以接收人類使用者的一個或多個關節的空間訊息,其可以包括頭部和/或手腕關節。
所述鉸接物件的n個關節的空間資訊可由一個或多個感測器輸出的定位資料匯出。感測器可以整合到一個或多個由人類使用者的相應身體部位持有或佩戴的設備之中。
例如,感測器可以包括一個或多個整合到頭戴式顯示裝置和/或手持控制器中的慣性測量單元。作為另一個例子,感測器可以包括一個或多個攝影機。
圖3示意性地說明了不同類型的感測器,其中來自感測器的輸出可以包括或可用於導出空間資訊。具體地,人類使用者在其頭部300佩戴頭戴式顯示設備304。
另外,人類使用者手持位置感測器306A和306B,所述位置感測器可配置為偵測並向頭顯 304和/或配置為接收空間資訊的另一計算系統報告使用者手部的移動。
在圖2中,我們回到了204的情境。我們將n個關節的空間資訊傳遞給先前進行過訓練的機器學習模型。這個模型接收n m個關節的空間資訊作為輸入,其中m的值大於等於1。換句話說,相較於先前的訓練模型,這個機器學習模型所接收的關節空間資訊要少一些
在206中,從機器學習模型接收作為輸出的關節物件的姿態預測,所述預測至少基於n個關節的空間訊息,並且不包含它們的關節的空間資訊。換句話說,即便沒有提供m個關節的空間訊息,機器學習模型都可以預測關節物件的完整姿態。
示意圖4展示了一個範例機器學習模型400,以說明這個過程
在圖4中,機器學習模型接收到空間資訊402,對應三個不同的關節J1、J2、J3。關節的空間資訊可以採用任何適當的電腦資料的形式,而所述資料指定或可用於匯出與關節相連的身體部位的位置和/或方向。
例如,空間資訊可以直接指定身體部位的位置和方向,和/或空間資訊可以指定關節相對於一個或多個旋轉軸的一個或多個旋轉。在圖4中,關節J1、J2、J3對應人類使用者的頭部關節404A和兩個手腕關節404B/404C,如圖使用者身體上疊加的陰影圓圈所示。
在本例中,n個關節包括三個關節,分別對應人體的頭部和手腕關節。基於所述輸入空間資訊402,所述機器學習模型輸出所述鉸接物件的預測位姿406。
另外,機器學習模型可以輸出與虛擬鉸接表示的關節相對應的預測空間資訊。人類使用者可以由具有卡通或非人類比例的虛擬化身Avatar表示。例如,預測的空間資訊可能對應於SMPL表示的關節。
換句話說,鉸接表示的虛擬表示的關節不必與鉸接物體的關節具有1:1的對應關係。因此,機器學習模型預測的空間資訊輸出可以是針對與鉸接對象的n m個關節不直接對應的關節。例如,虛擬表示可能比鉸接物件具有更少的脊椎關節。
機器學習模型可以用任何合適的方式來訓練。在一個實施例中,機器學習模型可能先前使用具有鉸接物件的ground truth標籤的訓練輸入資料進行訓練。
換句話說,可以為機器學習模型提供鉸接對象關節的訓練空間信息,並標記為指定空間信息所對應的鉸接對象的實際姿態的ground truth標籤。
如上所述,可以訓練機器學習模型以接收n m個關節的空間資訊作為輸入。這包括,在第一次訓練迭代中,為機器學習模型提供所有n m個關節的訓練輸入資料。在隨後的一系列訓練迭代中,m個關節的訓練輸入資料可以逐漸被屏蔽。
例如,在第二次訓練迭代中,m個關節中的第一個關節可以被屏蔽,其中訓練資料集中關節的空間資訊替換為表示被屏蔽關節的預定義值,或乾脆省略。
作為範例。在第三次訓練迭代中,m個關節中的第二個關節可以被屏蔽,以此類推,直到m個關節都被屏蔽,並且只向機器學習模型提供了n個關節的空間資訊。
這過程用圖5a-5d說明。具體而言,在圖5A中,為機器學習模型400提供了一個訓練輸入資料集。在本實施例中,訓練輸入資料包括與所述鉸接物件的多個不同姿態相對應的空間訊息,包括第一姿態502A和第二姿態502B。
在圖5A中,我們提供了n m個關節的空間信息,用於機器學習模型的鉸接對象。在人體的簡化表示中,每個代表關節的圓圈都以白色填滿模式來表示。然而,在圖5B中,我們屏蔽了504A,如圖所示,用黑色填滿圖案來表示接頭504A的圓圈
換句話說,圖5A表示了訓練過程的初始迭代,其中提供了所有n m個關節的空間資訊給機器學習模型。而圖5B則表示了訓練過程的第二次迭代,其中屏蔽了m個關節中的第一個關節504A
在圖5C中,所述鉸接表示的m個關節中的第二關節504B被遮蔽。同樣,在圖5D中,m個關節中的第三個關節被遮蔽。可以持續進行多次訓練迭代,直到m個關節中的每個關節的空間資訊被屏蔽,並且只向機器學習模型提供n個關節的空間資訊。
在上述場景中,我們描述了鉸接物件為人體全身的情況。然而,鉸接物件也可以採用其他形式
如圖7所示,鉸接對像是人手,而不是整個人體。具體而言,圖7顯示了一個範例機器學習模型700。
機器學習模型700接收關節J1、J2和J3的空間訊息,它們對應於一個鉸接物體的三個關節704A-C,在本例中採用人手706的形式。
在這種情況下,具體來說,n個關節包括人手的一個或多個手指關節。一個或多個手指關節的空間資訊詳細描述了人手的一個或多個手指或手指段的參數。例如,空間資訊可以指定手的手指的位置/方向,和/或應用於手關節的旋轉
可以使用任何合適的方法來收集關節空間信息,例如透過位置感測器708。舉個例子,位置感測器可以採用配置為對手部進行成像的攝影機形式。另一個例子是,位置感測器可以包括適當的射頻天線,其配置為將手部表面暴露在電磁場中,並評估導電人體皮膚的運動和接近對天線處電磁場阻抗的影響
根據輸入的空間資訊702,機器學習模型會輸出一組預測的空間資訊710。空間資訊710可以用來建構預測的鉸接對象的位姿。如前面所述,這些空間資訊可以表示鉸接物件身體部位的位置和方向
相關專利:Microsoft Patent | Pose prediction for articulated object
微軟最初在2022年6月提交了一份名為「Pose prediction for articulated object」的專利申請,並且該申請近日被美國專利商標局公佈
以上是微軟提出預測鉸接物件姿態技術,用於AR/VR身體姿態捕捉的專利的詳細內容。更多資訊請關注PHP中文網其他相關文章!

對於那些可能是我專欄新手的人,我廣泛探討了AI的最新進展,包括體現AI,AI推理,AI中的高科技突破,及時的工程,AI培訓,AI,AI RE RE等主題

歐洲雄心勃勃的AI大陸行動計劃旨在將歐盟確立為人工智能的全球領導者。 一個關鍵要素是建立了AI Gigafactories網絡,每個網絡都有大約100,000個高級AI芯片 - 2倍的自動化合物的四倍

微軟對AI代理申請的統一方法:企業的明顯勝利 微軟最近公告的新AI代理能力清晰而統一的演講給人留下了深刻的印象。 與許多技術公告陷入困境不同

Shopify首席執行官TobiLütke最近的備忘錄大膽地宣布AI對每位員工的基本期望是公司內部的重大文化轉變。 這不是短暫的趨勢。這是整合到P中的新操作範式

IBM的Z17大型機:集成AI用於增強業務運營 上個月,在IBM的紐約總部,我收到了Z17功能的預覽。 以Z16的成功為基礎(於2022年推出並證明持續的收入增長

解鎖不可動搖的信心,消除了對外部驗證的需求! 這五個CHATGPT提示將指導您完全自力更生和自我感知的變革轉變。 只需複制,粘貼和自定義包圍

人工智能安全與研究公司 Anthropic 最近的一項[研究]開始揭示這些複雜過程的真相,展現出一種令人不安地與我們自身認知領域相似的複雜性。自然智能和人工智能可能比我們想像的更相似。 窺探內部:Anthropic 可解釋性研究 Anthropic 進行的研究的新發現代表了機制可解釋性領域的重大進展,該領域旨在反向工程 AI 的內部計算——不僅僅觀察 AI 做了什麼,而是理解它在人工神經元層面如何做到這一點。 想像一下,試圖通過繪製當有人看到特定物體或思考特定想法時哪些神經元會放電來理解大腦。 A

高通的龍翼:企業和基礎設施的戰略飛躍 高通公司通過其新的Dragonwing品牌在全球範圍內積極擴展其範圍,以全球為目標。 這不僅僅是雷布蘭


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

WebStorm Mac版
好用的JavaScript開發工具

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

SublimeText3 Linux新版
SublimeText3 Linux最新版

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。