微軟AR/VR專利提出利用角落、線條特徵進行多相機影像對齊

MR系統可以使用多個鏡頭，但在呈現影像時需要對齊影像。然而，影像對齊是一個具有挑戰性的問題。因此，在名為「利用角點和線條特徵進行影像對齊的方法」的專利申請中，微軟提出了一種解決方案

當然，業界早已存在利用角落特徵來進行影像對齊的方法。然而，在圖像中識別角並根據識別的角對齊圖像是一個耗時且計算密集型的操作。

微軟提出的是一種更有效的改進技術，可以實現更好的特徵匹配。發明主要介紹了使用角特徵和線特徵來執行視覺對齊的混合方法，而這種解決方案導致對齊過程中所需的約束更少，從而改進計算效率和特徵匹配。

圖11示出一個範例環境1100，其中使用者正在使用頭顯相機1105和外部相機1110。如前所述，需要對齊從這兩個相機產生的影像內容。但環境1100可能是一個弱光環境，也可能是一個在熱梯度或對比方面具有低對比的環境。

例如，在深夜物體冷卻後，環境的溫度梯度可能通常是均勻的。在這種情況下，環境的溫度曲線或梯度可能低於特定的等溫閾值1115。在這種情況下，用於對齊內容的傳統技術可能會失效。微軟所描述的實施例為這類場景提供了解決方案。

圖12示出可用於對齊影像的範例角檢測1200過程。圖12示出了由圖11的頭顯相機1105產生的第一影像1205，以及由外部相機1110產生的第二影像1210。

進行角檢測操作以識別影像中存在的「角」。舉例來說，可以透過實施例來辨識第一張影像中的角特徵。換句話說，可以在圖像中識別一組像素，確定這些像素集合對應於一個角

「角」是指具有非均勻強度的一個或多個像素，其具有相對於所述一個或多個像素水平定位的第一附近像素塊和相對於所述一個或多個像素垂直定位的第二個附近像素塊。換句話說，角定義為一組一個或多個與相對於像素集在X和Y方向相鄰角形成對比的像素。

辨識第一影像1205中的角特徵1215，也辨識第二影像1210中的角特徵。因此，成功辨識出角特徵1225。需要注意的是，角特徵1225與角特徵1215是相對應的

為了對齊影像內容，此實施例的任務是辨識1230個角的閾值。角的閾值數量必須相互對應。換句話說，必須識別在第一張影像1205中識別的多個角，並且必須與在第二張影像1210中識別的多個角相對應

如果滿足這些閾值，則實施例可以執行影像對齊操作以產生疊加影像1235，所述影像1235是其中對齊來自第二影像1210的內容，然後與來自第一個影像1205的相應內容覆蓋的影像。

進行角點偵測和對齊是一項計算密集型操作，如果偵測到的角點與影像之間的匹配不夠好，整個過程可能會失敗。例如，僅使用角點的方法，需要從一張影像中辨識出至少5個角點，然後與第二張影像中的對應角點進行比對。在低對比條件下，即使辨識出5個對應的角點也可能是一項挑戰

在識別足夠數量的角落之後，實施例然後使用運動模型識別3D旋轉，以便透過執行各種旋轉和轉換以使5個角落彼此對齊來將圖像內容從第一或第二圖像適配到另一圖像。執行這樣的對齊是計算密集型。

因此，我們需要減少只使用角方法時所存在的約束，而圖13則描述了這樣一種技術。

在圖13中展示了角點和線點檢測1300的過程，這個過程包括了圖12中的角點檢測1200操作和線點檢測操作的組合。需要注意的是，角點偵測操作和線偵測操作是同時進行的

通常情況下，辨識影像中的對應的「線」比辨識角點更簡單，因此線偵測過程通常比角點偵測過程更快。由於這兩個過程可以並行運行，並且線檢測過程更快，因此添加線檢測過程不會對整體對齊過程的速度產生負面影響

透過合併使用線條來對齊影像，可以在對齊過程中使用更少的角，從而導致放鬆的約束和通常更容易對齊。特別是在低溫條件下，要求使用較少的角是非常有益的，因為很難找到和匹配角

「線」被定義為一組一個或多個像素，它們具有相對於一組或多個像素集的水平定位的第一附近像素塊的均勻強度，並且具有相對於一組或多個像素集的垂直定位的第二個附近像素塊的不均勻強度。或者，它們具有相對於一組或多個像素集的水平定位的第一個附近像素塊的不均勻強度，並且具有相對於一組或多個像素集的垂直定位的第二附近像素塊的均勻強度

在圖13中，展示了代表圖12中影像的第一個影像1305和第二個影像1310。圖13也展示了一種實作方法，可以偵測第一影像1305中的角特徵1315

在對第一影像1305進行角特徵的例檢測時，同時也會進行線特徵的檢測，就像線特徵1320和線特徵1325所示的那樣。一般來說，相較於可以偵測到的角的數量，我們能夠偵測到更多的線

對第二個影像1310執行角和線操作。為了說明，所述實施例識別角特徵1330。與角檢測操作並行，實施例同時檢測第二影像1310中的線，如線特徵1335和線特徵1340。

請注意，角特徵1330與角特徵1315相對應；線特徵1335與線特徵1320相對應。線特徵1340與線特徵1325相對應。實施例可以識別這些對應關係，然後產生或使用適合將這些特徵點彼此對齊的運動模型

根據發明原理，我們定義了第一個閾值為1345。第一個閾值是指必須在兩個影像中識別的相應角特徵的數量，以便對它們進行對齊。同時，我們也定義了第二個閾值為1350。第二個閾值是指必須在兩個影像中識別的相應行特徵的數量，以使它們對齊

第一閾值1345和第二閾值1350的滿足使實施例能夠對齊來自第一個影像1305和第二個影像1310的內容以產生疊加影像1355。值得注意的是，閾值通常是指必須識別的角和線的總數。

在了解執行線特徵檢測的便利性和速度之後，你可能會質疑為什麼實施例不僅依賴線檢測操作而避免執行角檢測操作。原因是因為在影像中偵測線條會導致孔徑問題。

以下是重寫後的內容： 根據圖14，我們可以看到孔徑問題，即孔徑模糊度為1400。在圖14中，線段1405是整條線的一部分。孔徑模糊度1400指的是一條線的多個不同部分可能（但不正確地）與已識別的線段1405相關

例如，儘管線段1410實際上位於錯誤的位置或位置，但線段1410可能是與線段1405匹配的像素區塊。類似地，線段1415或線段1420可能包含可能映射或匹配線段1405中的像素的像素區塊。這樣的場景在對齊過程中引入了模糊性。

因此，依靠線檢測過程本身是不夠的技術。換句話說，依靠線和角的組合可以使實施例使用寬鬆的約束，從而提高計算效率。

範例流程流程1500在圖15中展示。最初，會取得一組影像，如頭戴式相機影像1505和外部相機影像1510。這些圖像可能是熱圖像。影像中的溫度梯度或對比度1520可能低於特定的對比度閾值1525。因此，在圖像中識別足夠數量的角可能相當困難。在這種情況下，可以利用混合方法檢測角和線的組合以實現對齊

將頭戴式相機影像1505和外部相機影像1510傳送到角度偵測器1530和線條偵測器1535中，這兩個偵測器同時運行，彼此之間沒有依賴關係

請注意，線偵測器1535在偵測線條時通常比角偵測器1530在偵測角度時更快。換句話說，線偵測器1535的延遲時間較角偵測器1530的延遲時間要短

角點偵測器1530分析所述兩個影像並辨識所述影像中的角點1545。類似地，線偵測器1535分析這兩個影像並識別影像中的線1550。然後，實施例透過在兩個影像內識別相應的角和線來執行對齊1555。

為了執行對齊，需要確定線和角的閾值數量。匹配閾值比識別角的數量或線的閾值更相關。然後，實施例將所辨識的角和線擬合到諸如運動模型的3D模型1560中。然後對模型1560進行模型擬合1565操作，以旋轉、平移和/或變換一幅影像，從而匹配或對齊另一幅影像中的對應角和線。

換句話說，當執行重投影操作時，實施例使用已識別的角落和線來對齊來自一個影像的內容與來自另一個影像的內容

相關專利：Microsoft Patent | Image alignment using corner and line features

名為「Image alignment using corner and line features」的微軟專利申請最初在2022年2月提交，並在日前由美國專利商標局公佈。

以上是微軟AR/VR專利提出利用角落、線條特徵進行多相機影像對齊的詳細內容。更多資訊請關注PHP中文網其他相關文章！