微軟AR/VR專利分享用於ToF成像的運動校正方法

（映維網Nweon 2023年10月19日）諸如飛行時間ToF相機這種深度感測系統可用於為HoloLens 2產生環境的深度影像，其中深度影像的每個像素表示到環境中相應點的距離。在ToF成像中，環境中成像表面上點的距離取決於ToF攝影機發出的光傳播到該點，然後返回ToF相機感測器的時間間隔長度。

基於相位的ToF成像是ToF成像的變體，其中深度是根據從物件反射回來的調幅光的相移來計算。由於ToF相機在相位資料擷取之間的運動，幀內相位資料可能會相對移位。例如，在第一幀內相位資料擷取中，像素可以在場景內的位置以第一調製頻率感測相位資料。然後在下一幀內相位資料擷取期間，像素可以在第二調變頻率下感知不同場景位置的相位資料。不同頻率的相位資料變得不一致，則可以稱為運動模糊。

所以在名為「Motion correction for time-of-flight depth imaging」的專利申請中，微軟提出了一種用於ToF成像的運動校正方法。

為此，將對應於第一光光調變頻率的主動亮度AB影像與對應於第二光光調變頻率的AB影像進行比較，以確定幀內二維平移。幀內二維平移對應於攝影機相對於成像場景的估計運動。

然後，將幀內二維平移應用於相位數據，以幫助相位影像對齊並形成校正後的相位數據。接下來，對校正後的相位資料進行相位解包，得到幀內校正後的三維深度影像。幀內二維平移同時可用於對幀內AB影像執行運動校正。例如，可以透過對校正後的AB影像取平均值來獲得幀內校正後的AB影像。

在這樣的範例中，將來自第一幀的第一AB影像與來自第二幀的第二AB影像進行比較，以確定幀間二維平移。幀間平移是幀間運動的估計。然後，可以將幀間二維平移應用於第一幀的深度影像，以形成幀間產生的深度影像。可根據幀內校正的AB影像確定幀間二維平移。

另外，作為攝影機運動的估計，可以輸出幀間二維平移並用於各種時間後處理例程或軟體服務。因此，專利描述的實施例可以使用二維幀內AB影像資料來幫助實現3D深度資料的運動模糊校正。透過使用二維數據，與使用3D深度數據進行運動模糊校正相比，可以即時執行運動校正，具有相對高效的計算性能。

圖2顯示了包含ToF相機202的範例。其中，ToF相機是基於相位的ToF深度成像系統200。 ToF相機202包含感測器陣列204，感測器陣列204包含多個ToF像素206，每個像素206配置為取得擷取相位資料的光樣本，控制器208和物鏡系統210。

控制器208配置為收集和處理來自感測器陣列204的ToF像素206的數據，從而建立深度影像。控制器208可以包括執行去雜訊和/或相位展開的可執行指令。

深度成像系統200同時包括調製光發射器230和用於感測器陣列204的類比和/或數位調變電子快門232，以透過感測器陣列204控制光的整合。調製光發射器230可以配置成發射具有可由ToF像素206檢測到的任何頻率的電磁輻射。

調製光可以依序或同時以不同頻率調製，而感測器陣列204配置為取樣從調變光發射器230反射到表面220並返回相機的光。感測器陣列204的每個ToF感測像素206可包括一個或多個像素tap，以在不同的時間間隔整合反射光訊號，並由此確定相移。

對於每個調製頻率，控制感測器陣列204以來自光源的幅調製光的多個相位角對光進行採樣，並從用於調製頻率的多個光樣本中確定用於每個調製頻率的相位樣本。然後相位樣本可以展開以獲得每個像素的深度值。

由於調製光的周期性，測量的總相位每2π重複一次。由於n(k)不能透過基於相位的ToF像素直接測量，因此總相位以及與測量相關的實際距離是模糊的。因此在基於相位的ToF成像中，可以測量的距離（無模糊範圍）受到調製頻率的限制。

可以使用兩個或多個不同的調變頻率來增加無模糊範圍，然後將收集到的相移資料展開，以準確確定距離。

圖3示意性地說明用於多個K個調變頻率的範例ToF影像資料300。資料300表示深度成像系統200在多頻幀擷取過程中可取得的資料。

在所示的範例中，深度資料包括針對K個調變頻率中的每個頻率的M×N資料數組，從而產生幀內深度資料302a-c的M×N網格，其中每個網格中的每個像素304表示在K個調變頻率的相應照明光調變頻率K下獲得的測量值。

測量的相位用於計算與像素相關聯的深度值。但如上所述，在基於相位的ToF成像中，可以測量的距離（無模糊範圍）受到調製頻率的限制。因此，可以使用一組K≥2個調變頻率K來增加範圍，從而允許相位資訊解開以準確確定距離。

相位展開是透過使用多個不同頻率的調幅光照射場景來消除相移資料歧義並識別正確距離值的一種方法，因為對於每個照明光的頻率，距離歧義是不同的。

但如上所述，如果ToF深度攝影機處於運動狀態，則可能發生相位展開錯誤。由於每個頻率的深度資料擷取是順序進行，因此相位影像和AB影像在一幀內暫時分離。

例如，幀內相位圖像306a可包括朝向幀的開始處獲取的第一頻率ƒ1相位數據，幀內相位圖像306b可包括在幀的中間處獲取的第二頻率ƒ2相位數據，幀內相位影像306b可包括朝向幀的結束處取得的第三頻率ƒ3相位資料。

因此，如果ToF深度相機在幀內擷取之間移動，則三種不同頻率的相位資料可能會移位和錯位。相位資料不一致可能導致相位展開時出現錯誤。

所以，微軟提出了利用AB影像資料來估計運動並確定二維平移的解決方案。

這家公司指出，儘管可以使用深度數據，但由於場景中物件之間的主動亮度差異，基於AB影像資料確定二維平移可能更加穩健。然後，可以使用二維平移對相位資料執行幀內運動校正。對幀內校正的相位資料執行相位展開可以幫助避免因運動模糊而導致的展開錯誤。

圖4示出用於在相位展開之前對深度資料執行這種校正的範例方法。方法400可在接收來自ToF深度攝影機的資料的計算系統實現。

在402，進行多頻幀收集，其中透過ToF影像感測器收集多個幀內相位樣本。對多個照明光調變頻率（ƒ1、ƒ2、ƒ3）中的每一個擷取幀內相位樣本，以形成對應的幀內深度資料404a-c。在本例中，首先取得幀內深度資料404a，其次取得幀內深度資料404b，第三取得幀內深度資料404c，如時間箭頭所示。

在406，進行訊號校準校正以獲得相位資料408和主動亮度資料410。如上所述，由於相機運動，不同頻率的幀內深度資料可能會相對移位。因此，方法400比較主動亮度資料410來估計和校正運動。

這裡，將幀內AB影像410a與幀內AB影像410b進行比較，以確定第一幀內二維平移412。從AB1到AB2的二維平移可以用[Δu， Δv]1,2來表示，其中Δu是x方向的像素位移，Δv是y方向的像素位移。幀內二維平移412是幀內深度資料404a和幀內深度資料404b之間運動的估計。

接下來，將幀內AB影像410a與幀內AB影像410c進行比較，以決定第二個幀內二維平移414，表示為[Δu，Δv]13。

在一個實施例中，可以將幀內AB影像410b與幀內AB影像410c進行比較，以確定第三幀內二維平移。在其他範例中，可以比較任何合適的幀內AB影像對以確定相應的幀內二維平移。任何合適的方法都可以用來比較AB影像並確定平移。在一個範例中，從AB影像中提取特徵，形成特徵映射，並用於比較影像。

在確定二維平移後，可以使用確定的平移來校正相位資料。在圖4所示的實施例中，對相位影像408b施加幀內二維平移412，對相位影像進行校正，形成校正後的相位影像420b。同樣，對相位影像408c進行幀內二維平移414，對相位影像進行校正，形成校正後的相位影像420c。

因此，校正後的相位資料420表示已「重新對齊」到相位影像408a的相位資料。在一個範例中，可以應用一個或多個二維平移來形成與相位影像408b或408c對齊的校正相位影像。

在422，方法400同時包含對校正後的相位資料420執行相位展開以形成深度影像424。由於校正後的相位影像420b、420c可以與相位影像408a重新對齊，與忽略運動模糊校正的範例相比，在422的相位展開可以產生相對較少的展開誤差。

所以，方法400可以幫助在處理深度資料404以形成深度影像424方面實現更好的效能。

另外，幀內二維平移的應用可以透過卷積執行，因此可以與也利用卷積的空間和時間濾波處理結合。同時，作為攝影機運動的估計，確定的幀內二維平移可能有助於實現各種後處理應用，例如時間濾波器、軌跡估計、動態區域估計或映射。類似的技術可用於校正幀內AB影像並形成幀內校正的AB影像。

參考圖5，方法500利用幀內二維平移412、414形成校正後的AB資料510。在一個範例中，方法500與方法400一起執行。在其他範例中，方法500與方法400分開執行。

如圖5所示，將幀內二維平移412應用於幀內AB影像410b，對影像進行校正，形成校正後的AB影像510b。進一步，將幀內二維平移414應用於AB影像410c，以形成校正後的AB影像510c。與幀內AB影像408a一起，校正後的AB影像510b-c形成校正後的AB資料510。

在518，方法500進一步包括對校正後的AB資料510進行平均，以形成幀內校正後的AB影像520。可輸出幀內校正的AB影像520以便進一步處理和/或輸出到顯示器。

幀內校正的AB影像也可用於產生幀間深度影像。除了校正深度影像影格內的運動模糊外，同時可以在影格之間進行校正。

相關專利：Microsoft Patent | Motion correction for time-of-flight depth imaging

名為「Motion correction for time-of-flight depth imaging」的微軟專利申請最初在2022年3月提交，並在日前由美國專利商標局公佈。

以上是微軟AR/VR專利分享用於ToF成像的運動校正方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！