微軟專利為AR/VR光線投影校準幹擾提出監控光源解決方案

（映維網Nweon 2023年08月24日）XR設備通常包含耦合到左光束路徑的左投影機和耦合到右光束路徑的右投影機。左投影機配置為產生左影像，然後將左側影像經由左光束路徑傳播到使用者的左眼。正確的投影機被配置為產生正確的影像，然後正確的影像會透過正確的光束路徑傳播到使用者的右眼。

這種XR設備的結構可能會因常規使用、溫度變化和/或衝擊而改變。當R設備的結構發生變化時，影像可能會失去視軸，無法正確對準。這個問題在眼鏡形態的設備中可能會變得嚴重。

有XR設備配置為投射校準影像，並使用校準影像來確定顯示器是否正確定位。由於校準影像對使用者可見，所以使用者體驗經常受到校準/校正操作的干擾。

在名為「Monitoring position and orientation of a projector」的專利申請中，微軟提出使用監控光源（如雷射二極體或雷射二極體陣列）產生監控光束來監控投影機的位置和方向，從而解決上述問題。

投影機具有反射空間光調製器。監控光束引導到監視器中，以獲得直接回饋，然後可用於修正XR設備的軸視變化。在一個實施例中，配置單一攝影機以組合來自左眼和右眼投影機的影像並減少該測量中的誤差。

在一個實施例中，監視器光源可以是一個或多個邊緣發射器二極體或一個或多個具有非常窄波長帶的垂直外腔表面發射雷射VECSEL二極體。在一個實施例中，監視器光源是一組邊緣發射器二極體或VECSEL二極體，其配置為投射一組點。

使用波長帶非常窄的雷射光束作為監測光束是有利的，因為這樣的雷射波長帶可以選擇為對使用者不可見，或不同於照明光束(可見光束)，使得監測光束可以從照明光束中過濾出來。另外，雷射光功率可以設定為大於照明光本身，從而克服監視攝影機的信噪比問題。同時，如此窄的波長帶可以用於基於相位透鏡的非常緊湊的監視攝影機。

在一個實施例中，所述監視器光束在通過所述監視器光束路徑傳播以產生所述監視器影像之前，由所述投影機的反射空間光調製器調製。或者，在通過所述監視器光束路徑傳播以產生監視器影像之前，所述監視器光束不被所述投影機的反射空間光調製器調製，並且所述監視器攝影機可以包括象限二極體偵測器、攝影機和/或無透鏡攝影機。

在一個實施例中，監視器光束在光束路徑中被定向到與投影機不同的路徑，這進一步改善了監視器攝影機處的訊號對雜訊。另外，與投影機訊號分離的監視器訊號的專用光束路徑為最終用戶提供了雷射安全性，因為沒有將其指向使用者眼睛的路徑。

監視器可以測量左右影像的姿勢或兩個影像的變化，並監控應用的校正。投影機可以使用多種不同的投影機設計。所述監控光束和所述照明光束的整合可以來自同側，或可以來自不同側，並透過光束組合器組合，例如二向色光束組合器。

圖1A示出了實現本文所述原理的投影系統100A的範例架構。所述投影系統100A包括照明光源110、監視器光源120和投影機140。所述照明光源110配置為向所述投影機140發射照明光束112A，所述監控光源120配置為向所述投影機140發射監控光束122A。

在一個實施例中，投影機140包括反射空間光調製器142，其配置為調製光束112A和122A以產生投影機140的輸出144A。投影機140的輸出144A為投影組合光束144A，其中包含投影照明光束1441和投影監控光束144M。

隨後，將所述投射的照明光束1441指向指向使用者眼睛160的照明光束路徑152，使所述使用者眼睛160看到與所述照明光束112A對應的顯示影像。

所述投射的監視器光束144M指向所述監視攝影機170，使所述監視攝影機170捕捉與所述監控光束122A相對應的監控影像。

由於所述照明光束112A和所述監控光束122A均透過所述投影機140投射，因此所述監視攝影機170所擷取的監控影像可用於確定所述監控影像的方向或位置。

在一個實施例中，照明光源110配置成發射第一波長波段的光束，例如可見紅綠藍(RGB)光束，包括紅光光束、綠光光束、藍光光束或其組合。所述監控光源120配置成發射第二波長波段的光束，例如不可見光，使得所述監控光源產生的影像僅對所述監視器170可偵測到，而對人眼不可見。

在一個實施例中，照明光束路徑152配置為在第一波長帶中傳播光，並且監視器光束路徑154配置為在第二波長帶中傳播光。這樣，所述投射的組合光束144A被分割成所述照明光束路徑152和所述監控光束路徑154。

在一個實施例中，在照明光束路徑152之前設定濾光片以濾出第二波長的光束，使得只有第一波長波段的光束在照明光束路徑152上傳播。另外，在監視器光束路徑154之前設置濾光片以濾出第一波長的光束，使得僅在第二波長波段的監視器光束在監視器光束路徑154上傳播。

由於所述監控光束112A被引導到與所述照明光束不同的路徑上，因此它進一步提高了所述監控攝影機170處的訊號雜訊比。在一個實施例中，所述監控光束的功率大於所述照明光束的功率，使得所述信噪比進一步得到改善，以允許在所述攝影機170處識別所述監控影像。

在一個實施例中，所述照明光源110配置為向第一方向發射照明光束，監控光源120配置為向與所述第一方向相交的第二方向發射監控光束。所述照明光束和所述監控光束在所述投影機的第一位置相交，並在所述投影機的兩個獨立位置，即第二位置和第三位置輸出。

然後輸出光束在不同的方向上傳播。所述投射的照明光束沿著第一方向向使用者的眼睛傳播，所述投射的監視器光束沿著第二方向向監視器攝影機傳播。

或在一個實施例中，光束組合器可用於將照明光和監視器光組合成指向投影機140的組合光束。

圖1B示出了投影系統100B的範例結構。所述投影系統100B包括光束組合器130，其配置為將照明光112B和監視光束122B組合成指向投影機140的組合光束132。所述投影機140配置為將所述組合光束132投射到所述投影組合光束144B中。與圖1A中的投影組合光束144A類似，投影組合光束144B分割並在兩個不同的光束路徑152、154上傳播。

如圖1A或1B所示的投影系統100A或100B可在便攜式投影機和/或頭戴式設備(例如VR/AR設備)中實現，允許便攜式投影機和/或頭戴式設備自我監控和/或調整其軸視對準。值得注意的是，當在頭戴式設備中實現時，可以實現兩個這樣的投影系統，一個用於左眼，另一個用於右眼。

圖2A和2B示出了實現左投影系統200L和右投影系統200R的範例頭戴式設備200的前視圖和頂視圖，其中每一個都對應於圖1A或1B的投影系統100A或100B 。如圖所示，左投影系統200L包括照明光源210L和監控光源220。在一個實施例中，左投影系統200L還包括波束合併器230L。

參考圖2B，所述照明光源210L配置為發出照明光束212L，所述監控光源220L配置為發出監控光束222L。光束組合器230L配置為將照明光束212L與監控光束222L組合成組合光束232L，再由投影機240L投射成投影組合光束242L。

參考圖2A，頭戴式設備200同時包含照明光束路徑252L(對應圖1A或1B的照明光束路徑152)和監控光束路徑254L(對應圖1A或1B的監控光束路徑154)。

所述投射組合光束的第一部分透過照明光束路徑252L向使用者的眼睛傳播(未示出)，所述投射組合光束的第二部分透過所述監視器光束路徑254L向所述攝影機270傳播。

所述投射組合光束的第一部分包含由所述投影機240L投射的照明光束的至少一部分，使用戶的眼睛看到與所述照明光束相對應的顯示影像。所述投影組合光束的第二部分包含由所述投影機240L投影的所述第一監視器光束的至少一部分。

再次參考圖2B，兩個監控波束路徑254L和256L包含波束組合器260，其配置為將兩個監控波束組合成組合的監控波束262。然後將組合的監控波束262傳播到監視器270中。

所述監視攝影機270配置為接收所述投射的組合光束的第二部分，並擷取與所述投影機240L投射的所述監控光束相對應的監控影像。

然後，分析監視器影像以確定監視器影像的方向或位置。在確定監視器影像方向或位置不正確的情況下，調整投影機240L的方向或位置。例如在一個實施例中，轉換與所述照明影像相關聯的影像數據，以使所述照明影像基於所述監視器影像的方向旋轉特定角度。

作為另一個範例，可以變換與所述照明影像相關聯的影像資料以使所述照明影像移動、放大和/或縮小。

在一個實施例中，照明光源210L配置為發射第一波長波段的光束，例如可見光，而監控光源220L配置為發射第二波長波段的光束，例如不可見光，使得由監控光源產生的影像僅對監視攝影機270可見，而對使用者不可見。

在一個實施例中，所述監控光束的功率大於所述照明光束的功率，使得所述監控攝影機270捕獲的所述監控影像具有足夠的信噪比以允許識別所述監控影像。

在一個實施例中，所述照明光束路徑252L被配置為在第一波長波段傳播光，所述監視器光束路徑254L配置為在第二波長波段傳播光。因此，將所述投射的組合光束分為照明光束路252L和監控光束路254L。

在一個實施例中，在照明光束路徑252L之前設定濾光片以濾出第二波長的光束，使得只有第一波長波段的光束在照明光束路徑252L上傳播。另外，在監視器光束路徑254L之前設定濾光片以濾出第一波長的光束，使得僅在第二波長波段的監視器光束在監視器光束路徑254L上傳播。

在一個實施例中，所述監視器影像包括一組預定的點或線。圖3A和3B舉例說明由監視攝影機270捕捉的監視影像的範例。

如圖3A所示，監控影像300A包括由四個點302A、304A、306A、308A組成的網格，所述網格可通過濾除第一波長帶中的光束和/或使用配置為傳播第二波長帶中的光束的監控光束路徑254L來實現。

在一個實施例中，將所述監控影像300A與所述監控攝影機270的軸視310A進行比較，以確定所述監控影像330A是否正確定向或定位。

如圖3B所示，監控影像300B包含與顯示影像320B疊加的由四個點302B、304B、306B、308B組成的網格，其可透過不濾除第一波長帶中的光束，或使用配置為傳播第一波長帶和第二波長帶中的光束的光束路徑造成。

另外，可以將所述監控影像300B與所述監視器270的內徑310B進行比較，以確定所述監控影像300B是否正確定向或定位。在一個實施例中，監控光束222L、222R的功率大於(或顯著大於)照明光束212L、212R的功率，從而進一步提高信噪比以允許識別監控影像。

回到圖2A-2B中，頭戴式裝置200同時包含第二個照明光源210R、第二監視器光源220R、第二光束組合器230R、第二照明光束路徑252R和第二監視器光束路徑254R、第一監視器光源220L、第一光束組合器230L、第一照明光束路徑252L和第一監視器光束路徑254L。第一組元件210L、220L、230L、240L和第二組元件210R、220R、230R、240R對稱地設置在頭戴式裝置200的左右兩側。

第一組元件210L、220L、230L、240L配置為在使用者的第一隻眼睛上投射第一影像，第二組元件210R、220R、230R、240R配置為在使用者的第二隻眼睛上投射第二個影像。

在一個實施例中，監視攝影機270配置為接收來自第一監控光束路徑254L的第一投射組合光束的一部分和/或來自第二監控光束路徑254R的第二投射組合光束的一部分。所述監控攝影機270配置為基於從所述第一監控光束路徑254L接收到的第一光束捕獲第一監控影像，和/或基於從所述第二監控光束路徑254R接收到的第二光束捕獲第二監控影像。

在一個實施例中，分別分析第一監控影像或第二監控影像以確定第一監控影像或第二監控影像中的每一個是否正確定向或定位。監視器270配置為捕捉相互覆蓋的第一監控影像和第二監控影像。將第一個監視器影像與第二監視器影像進行比較，以確定兩隻眼睛的相對內視是否對齊。

在一個實施例中，為每個投影系統實作單獨的監視攝影機。例如，頭戴式設備包括配置為從第一投影機捕獲第一監控影像的第一監控攝像頭，以及配置為從第二投影機捕獲第二監控影像的第二監控攝影機。然後可以將所捕獲的第一監視影像和第二監控影像與第一攝影機和第二攝影機的各自內徑進行比較，或相互比較以確定彼此的相對內徑。

圖4A和4B說明了由監視攝影機270捕捉的影像400A、400B的範例，其中第一監控影像(從第一監控波束路徑254L接收)和第二監控影像(從第二監控波束路徑254R接收)彼此疊加。

如圖4A所示，由監視攝影機270捕捉的影像400A包括具有四個點402A、404A、406A、408A的第一網格的第一監視影像。第二監視器影像具有由四個點412A、414A、416A、418A組成的第二個網格。所述第一監控影像與所述第二監控影像相互疊加。

如圖4A所示，第一格點402A、404A、406A、408A與第二格點412A、414A、416A、418A未對齊，說明與兩眼的相對視軸未對齊。

在一個實施例中，為了確定兩個眼睛的相對軸視不對齊，將頭戴式裝置200配置為調整第一投影機或第二投影機(或第一照明影像和/或第二照明影像)中至少一個的方向或位置，以使相對軸視對齊。

圖4B顯示由監視攝影機270捕捉的影像400B的範例，包括第一個顯示影像410B、具有四個點402B、404B、406B、408B的第一網格的第一監控影像、第二顯示影像420B和具有四個點412B、414B、416B、418B的第二網格的第二監控影像。

所述第一顯示影像410B、第一監控影像、第二顯示影像420B、第二監控影像相互疊加。在一個實施例中，進一步處理疊加影像400B以擷取第一監控影像和/或第二監控影像。然後分析所提取的第一監控影像和/或第二監控影像，以確定監控影像和/或第二監控影像是否正確定向或定位。

圖8示出了在頭戴式裝置實現的範例方法800的流程圖。所述方法800包括從第一投影機擷取第一監控影像(act810)和從第二投影機擷取第二監控影像(act820)。

act810，從第一投影機取得第一監視器影像由第一投影系統執行，而投影系統包括第一照明光源、第一監視器光源、第一光束路徑、第二光束路徑和攝影機。

act810，從第一照明光源發射第一照明光束(法案710)，從第一監控光源發射第一監控光束(法案720)，以及透過第一投影機將照明光束和監控光束投射到第一投影光束中。在一個實施例中，第一照明光源和第一監視器光源被配置成向彼此感興趣的不同方向發射光，並且將第一照明光束和第一監視器光束組合成指向第一投影儀的第一組合光束。

act810同時包括將第一投射組合光束的第一部分透過第一光束路徑向使用者的第一眼睛傳播，並將第二投射光束的第二部分透過第二光束路徑向相機傳播，然後透過相機捕捉監控影像。

act820，類似地，從第二投影機捕捉第二監視器影像由第二投影系統執行，而投影系統包括第二個照明光源、第二監視器光源、第三光束路徑、第四光束路徑和攝影機。

在一個實施例中，第一投影系統和第二投影系統共用相同攝影機。第一投影系統包括第一鏡頭，第二投影系統包括第二相機。第一監控影像和第二監控影像被捕捉為彼此疊加。在一個實施例中，分別擷取第一監控影像和第二監控影像。

act830，然後，將第一監控影像和第二監控影像相互比較，以確定第一投影機和第二投影機的相對內視是否彼此對齊。

act840，作為對確定相對軸距未對齊的響應，調整第一或第二投影機中至少一個的方向或位置。在一個實施例中，為響應於確定相對軸視是否對齊，投影系統可以基於使用者輸入，在預定時間和/或以預定頻率再次重複動作810-830。

在一個實施例中，照明光束和監視光束不組合或平行。照明光束和監控光束在投影機內部相交，並在兩個獨立的位置出來。這樣的實施例使得將照明光束傳送到使用者的眼睛和將監視光束傳送到監視攝影機變得容易。

相關專利：Microsoft Patent | Monitoring position and orientation of a projector

名為「Monitoring position and orientation of a projector」的微軟專利申請最初在2022年1月提交，並在日前由美國專利商標局公佈。

以上是微軟專利為AR/VR光線投影校準幹擾提出監控光源解決方案的詳細內容。更多資訊請關注PHP中文網其他相關文章！