首頁 >科技週邊 >人工智慧 >改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

PHPz
PHPz轉載
2024-01-03 14:05:241277瀏覽

(映維網Nweon 2023年12月27日)有線連接通常稱為“硬連結”,它將一個節點物理連接到另一個節點。一種有線連接是PCIe。 PCIe是一種用於連接高速節點的接口,而儘管諸如PCIe等高速連接終端和協定提供了實質性的優勢,但所述類型的終端需要高功率運行。對於頭戴裝置這樣的電池供電計算架構,這會對系統造成巨大的負擔。

在名為「Error recovery and power management between nodes of an interconnection network」的專利申請中,微軟介紹了透過從錯誤條件中恢復而不需要重新傳輸資料來改善發射器節點和接收器節點之間傳輸的方法,從而幫助減輕頭顯的系統負擔。

在一個實施例中,啟動資料串流。所述資料流包括不同類型的資料包。糾錯碼(ECC)選擇性地施加在控制資料型別packet。發射器節點和接收器節點透過具有多個虛擬通道的硬鏈路連接。每個虛擬頻道都與相應的功耗節點相關聯。

當接收器節點接收到控制資料類型packet時,如果需要,則在不重新傳輸的情況下執行糾錯。當針對每個虛擬頻道發送最終資料類型packet時,發送器節點發送結束條件類型packet。對應於對應虛擬頻道的相應功耗節點從活動狀態轉換到低功率狀態。

特定實施例配置為透過識別跨虛擬通道的資料包傳輸何時完成,以及當資料包傳輸完成時透過令節點進入低功耗狀態來改善電池供電設備的電力使用。

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

這裡展示了一個互連網路200的範例,如圖2所示。互連網路200可以包含任意數量的互連節點,例如節點205和節點210。節點205和210可以是各種類型的運算元件,如HPU全像處理單元

如圖所示,節點205透過高速鏈路215連接在節點210。高速鏈路215可以是支援高速資料傳輸的任何類型的實體頻道連接。

發明描述的實施例可以虛擬化高速連結215以包含任意數量的虛擬通道。例如,硬鏈路240代表高速鏈路215。硬連結240顯示為包含任意數量的虛擬通道,例如虛擬通道245、250、255和260。資料包顯示為透過這些不同的虛擬通道傳輸,例如資料包265。

每個虛擬通道都與其各自的緩衝區相關聯。例如虛擬通道245可以與緩衝區270相關聯,並且虛擬通道250可以與緩衝區275相關聯。其他虛擬通道與它們各自的緩衝區相關聯。每個緩衝區可以有一個對應的緩衝區大小280。根據發明原理,硬體能夠在各種請求者(即接收節點)之間保持通道頻寬平衡。

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

圖3和4是頭戴式顯示器的範例。

高速連結410A可用於在位於前端外殼的運算單元和位於後端外殼的運算單元之間傳輸高速顯示資料和/或感測器資料。高速鏈路410A設計為具有低延遲,因此可以透過大量的計算週期或通訊。相較之下,低速連結405A可用於提供電源、接地或開關機制。

圖2中的高速鏈路215可以代表圖4中的高速鏈路410A,圖2中的節點205和210可以代表圖4中所示的任何計算單元,例如顯示電路420A、CPU 420B和440A、GPU 420C和4406、SOC 420D和HPU 440C。

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

圖8列出了操作需求800。最初,操作需求800包括即時數據需求805。如同前面關於頭戴裝置的討論,用於向使用者顯示內容的頭戴裝置具有即時需求805,所以希望避免重新傳輸資料

另外,頭顯內容會根據許多不同的因素動態變化,包括頭顯的姿勢/方向,MR場景的場景變化,與全像圖的交互等等。所以當在頭顯中實現時,可以要求從頭顯中的一個節點傳輸到另一個節點的資料以滿足即時資料需求805。這意味著頭顯實現現在不具備重新傳輸資料的能力,就像傳統系統遇到資料錯誤時一樣。

由於即時資料需求805,解決或修正錯誤的重新傳輸不可用。因此,微軟的發明引入了一種新的技術來回應錯誤。

另外,操作需求800包括低開銷需求810。如前所述,節點之間的硬鏈路頻寬有限。發明所述原理提供了不僅符合即時數據需求805,而且可以在總線協議放置少量額外開銷的糾錯技術。

800操作要求還需要包括低功耗要求815。根據資料流的特定特徵,實施例可以選擇性地關閉功耗節點以降低功耗。例如,在頭顯環境中,實施例可以透過偵測在節點之間傳輸的特定資料包來使雷射器進入低功率狀態

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

為了實現上述要求,實施例致使特定類型的資料包從資料流中的一個節點傳輸到另一個節點。圖9示出了一個範例包900,它代表了圖2中討論的包。值得注意的是,資料包900可以採取不同的形式,包括控制資料類型資料包905、非控制資料類型資料包910和結束條件資料包915。

在所有虛擬通道完成發送各自的資料流之後,完成發送其資料流的最後一個虛擬通道發送附加的最終結束條件包,以給出所有虛擬通道的狀態。傳送節點不會為虛擬通道傳送任何新的流量,直到所有虛擬通道完成為掃描傳輸各自的資料流。當啟動新的掃描或啟動新的幀時,虛擬通道將再次開始發送資料包。

控制資料類型套件905是一種套件類型,用於控制特定操作的執行方式。例如,參考頭顯示的範例,控制資料類型套件905可以包含有關雷射何時發射、定時資訊、有效載荷類型資訊、虛擬通道信息,還可以進一步包括有關雷射脈衝放置位置的資訊

控制資料類型套件905也可以包含指示要使用哪個通道或虛擬通道的標頭資訊。例如,頭顯的每個雷射可以與其各自的虛擬通道相關聯。控制資料類型套件905可以包括用於虛擬通道的相應雷射器的控制資訊和虛擬通道資訊

由於控制資料類型資料包905的重要性,資料包使用糾錯碼ECC 925進行保護。需要澄清的是,由於控制資料類型資料包905中包含的時間和位置資訊差異壓縮且非常重要,因此使用ECC 925來保護資料免受傳輸過程中可能發生的錯誤的影響。

如果允許在控制資料類型套件905中包含的資料存在錯誤,則整個掃描可能會遭到破壞,從而導致將偽影引入結果影像幀中。

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

圖10提供了關於ECC 1000的附加描述,它代表圖9的ECC 925。具體來說,ECC 1000至少包括兩種類型的保護,包括單比特糾錯1005和雙位元糾錯1010。

在一個實施例中,錯誤保護是x位元錯誤校正和x 1位元錯誤偵測。選擇ECC 1000以確保ECC 1000支援錯誤率。 ECC 1000可以為每個控制資料類型資料包8位,或根據控制資料類型資料包的長度選擇其他位數。

回到圖9,非控制資料類型資料包910是包含有效載荷資訊的資料包,例如用於如何在掃描中照亮特定像素,例如顏色強度、持續時間、雷射脈衝大小等。這樣,非控制資料類型包910包括描述如何照亮像素的機制的像素資料930。

儘管在每個新的資料流中可以透過虛擬通道發送單一控制資料類型資料包,但在資料流中可能會發送任意數量的非控制資料類型資料包。另外,任何單一非控制資料類型資料包的損壞可能只會導致單一像素損壞。

頭戴裝置的更新率通常在90 Hz到120 Hz之間,而且解析度非常高,所以使用者可能不會注意到單一像素的損壞。考慮到這些條件,實施例選擇性地避免對非控制資料類型資料包910施加ECC。對於出現在非控制資料類型資料包910的錯誤,可以簡單地接受,因為這些錯誤所帶來的影響微乎其微

透過將ECC 925施加到控制資料類型包905,由於ECC 925允許在接收節點進行糾錯和檢測,因此無需重新傳輸控制資料類型包905,並可以進行即時處理,從而滿足圖8中的即時數據需求805。

透過僅對控制資料類型資料包905施加ECC 925,而不對非控制資料類型資料包910施加ECC 925,實施例滿足低開銷要求810,因為附加資料僅應用於單一資料包而不是多個數據包。因此,額外的開銷同樣是微不足道的

另外,透過施加ECC,實施例能夠在偵測到錯誤時自動恢復,從而滿足了自動硬體恢復要求825。因此,實施例基於資料類型或更確切地說不同的資料包類型施加不同的資料保護要求。

結束條件包915是一個用於在資料流完成時觸發的包。換句話說,當所有非控制資料類型的資料包都發送完畢後,結束條件資料包915將作為資料流的最後一個資料包被發送

如果在特定的掃描中沒有像素被特定的雷射照射,則可能沒有控制資料類型的資料包或非控制資料類型的資料包在雷射器對應的虛擬通道上傳輸。相反,只能發送結束條件包915。為了幫助減輕可能的錯誤,可以傳輸多個結束條件資料包。

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

圖11顯示了涉及多個虛擬通道1100的範例場景,並且正在傳輸圖10中引入的三種不同的資料包類型。圖11所示為有12個虛擬通道,資料流流自左向右流動的場景。另外,不同的包類型使用不同的著色技術進行說明。在這個範例場景中,每個虛擬通道對應於頭顯中的單一雷射器,並且每個虛擬通道都有自己相應的資料流正在傳輸。

圖11顯示了通道1的資料流如何從一個控制資料類型資料包開始,然後包含五個非控制資料類型資料包,然後包含一個結束條件資料包。通道2類似,它包括一個控制資料類型資料包、兩個非控制資料類型資料包和一個結束條件資料包。通道1和通道2正在傳輸數據,因為與通道對應的雷射將用於照亮掃描中的像素。

另一方面,通道3對應於不會用於照亮掃描像素的雷射。因此,通過通道3傳輸的資料流只包括一個結束條件包。這個結束條件資料包有益地通知相應雷射將不用於這個特定掃描。

相應地,如果在特定的掃描期間沒有打算使用激光,那麼通過激光的虛擬通道傳輸的數據流將只包括一個或多個結束條件數據包

改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利

圖12以虛擬通道1200為重點,它代表了圖11中的虛擬通道1100。圖12顯示如何透過通道1傳輸結束條件包。所述結束條件包作為觸發器1210操作,以通知所述系統對應的功耗節點可從功耗模式轉換為降低功耗模式。這種觸發操作是有益的,因為系統現在知道功耗節點是空閒的,所以可以過渡到降低功耗模式。

例如在頭顯環境中,頭戴裝置包括雷射發射器1215,其本身包括雷射器1215A、1215B和1215C。通道1是專門與雷射1215A對應的虛擬通道。透過通道1傳輸終端條件包使系統認識到雷射1215A的使用現在已經完成,因此可以從產生雷射的主動模式1220過渡到低功率模式1225或甚至可能是關閉模式1230。

根據圖12所示,結束條件已經被觸發,導致激光器1215A停止發射激光,而激光器1215B和1215C可能仍在繼續發射激光。根據圖11,透過在每個不同的虛擬通道傳輸結束狀態資料包,使得每個虛擬通道對應的節點進入低功耗狀態,從而保持系統的電量

簡單地轉回圖11,通道1顯示為傳輸結束條件資料包的最後一個通道。無論哪個虛擬通道最後傳輸結束條件資料包,則所述虛擬通道的資料流的任務是執行所謂的封裝操作,其中結束條件資料包構成「最終」結束條件類型資料包1315,如圖13所示

最後的結束條件類型包1315向接收節點提供附加信息,表明所有其他虛擬通道的所有資料流都已完成。這種功能在頭顯環境中是有益的,因為最終結束條件類型資料包1315象徵掃描的結束。

相關專利:Microsoft Patent | Error recovery and power management between nodes of an interconnection network

微軟專利申請名為「節點間錯誤恢復與電源管理」的申請於2023年8月最初提交,並最近由美國專利商標局公佈

要注意的是,一般來說,美國專利申請接收審查後,自申請日或優先權日起18個月自動公佈或根據申請人要求在申請日起18個月內進行公開。注意,專利申請公開不代表專利核准。在專利申請後,美國專利商標局需要實際審查,時間可能在1年至3年不等。

此外,這只是一份專利申請,不能保證一定獲得批准,並且無法確定是否會真正商用和產生實際應用效果

以上是改進HoloLens內部PCIe資料連結傳輸:微軟分享AR/VR專利的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述:
本文轉載於:sohu.com。如有侵權,請聯絡admin@php.cn刪除