Microsoft AR/VR 特許は、マルチカメラ画像の位置合わせに角度と線の特徴を使用することを提案しています

MR システムは複数のカメラを使用できますが、レンダリング時に画像を位置合わせする必要があります。ただし、画像の位置合わせは難しい問題です。そこで、Microsoft は「コーナーとラインの特徴を使用した画像位置合わせ方法」というタイトルの特許出願で、解決策を提案しました

もちろん、業界では画像の位置合わせにコーナー機能を使用する方法がすでにあります。ただし、画像内の角を識別し、識別された角に基づいて画像を位置合わせすることは、時間がかかり、計算量が多い操作です。

Microsoft が提案しているのは、より優れた特徴マッチングを実現できる、より効果的な改善テクノロジです。本発明は主に、角特徴と線特徴を使用して視覚的位置合わせを実行するハイブリッド方法を導入し、この解決策により位置合わせプロセスに必要な制約が少なくなり、それによって計算効率と特徴マッチングが向上する。

＃＃＃ 図１１は、ユーザがヘッドマウントカメラ１１０５および外部カメラ１１１０を使用している環境例１１００を示す。前述したように、これら 2 台のカメラから生成された画像コンテンツは位置合わせする必要があります。しかし、環境１１００は、低照度環境であってもよく、あるいは温度勾配またはコントラストの点でコントラストが低い環境であってもよい。

たとえば、深夜に物体が冷えた後、環境の温度勾配は通常均一になる可能性があります。この場合、環境の温度プロファイルまたは温度勾配は、特定の等温閾値１１１５を下回る可能性がある。この場合、コンテンツを調整するための従来の手法は失敗する可能性があります。マイクロソフトによって説明された実施形態は、そのようなシナリオに対する解決策を提供する。

図12は、画像を位置合わせするために使用できるコーナー検出1200プロセスの例を示している。図１２は、図１１の頭部装着カメラ１１０５によって生成された第１の画像１２０５と、外部カメラ１１１０によって生成された第２の画像１２１０を示す。

コーナー検出操作を実行して、画像内に存在する「コーナー」を識別します。例えば、実施形態は、第１の画像内の隅の特徴を識別するために使用され得る。言い換えれば、画像内でピクセルのセットを識別し、角度に対応するものと判断できます。

「コーナー」とは、不均一な強度の1つまたは複数のピクセルを指し、その1つまたは複数のピクセルに対して水平に配置され、第2の隣接ピクセルブロックの1つまたは複数のピクセルに対して垂直に配置された第1の近隣ピクセルブロックを有する。 。言い換えれば、コーナーは、ピクセルのセットに対して X および Y 方向で隣接するコーナーと対照をなす 1 つ以上のピクセルのセットとして定義されます。

第1の画像1205内のコーナー特徴1215を特定し、また、第2の画像1210内のコーナー特徴も特定する。したがって、コーナー特徴１２２５は首尾よく識別される。角度特徴 1225 と角度特徴 1215 は対応していることに注意してください。 ＃＃＃＃画像コンテンツを位置合わせするために、この実施形態は、１２３０隅の閾値を識別するという任務を負っている。コーナーの閾値数は互いに対応している必要があります。換言すれば、第１の画像１２０５で識別された複数の角が識別されなければならず、第２の画像１２１０＃＃＃で識別された複数の角に対応しなければならない。 ＃＃＃＃ これらの閾値が満たされる場合、実施形態は、画像位置合わせ動作を実行して、第２の画像１２１０からのコンテンツが位置合わせされ、その後、第１の画像１２０５からの対応するコンテンツとオーバーレイされる画像であるオーバーレイ画像１２３５を生成することができる。

コーナーの検出と位置合わせの実行は計算負荷の高い操作であり、検出されたコーナーと画像の一致が十分でない場合、プロセス全体が失敗する可能性があります。たとえば、コーナー ポイントのみを使用する方法では、1 つの画像から少なくとも 5 つのコーナー ポイントを特定し、それらを 2 番目の画像内の対応するコーナー ポイントと照合する必要があります。低コントラストの条件下では、対応する 5 つのコーナー ポイントを特定することさえ困難になる可能性があります

＃＃＃＃ 十分な数の角を特定した後、実施形態は、５つの角を互いに位置合わせするために様々な回転および変換を実行することによって第１または第２の画像からの画像内容を適応させるために、運動モデルを使用して３Ｄ回転を特定する。画像。このような調整を実行すると、大量の計算が必要になります。

したがって、角度メソッドのみを使用する場合に存在する制約を減らす必要があります。図 13 はそのようなテクニックを示しています。

図１３は、コーナー点およびライン点検出１３００のプロセスを示す。このプロセスには、図１２のコーナー点検出１２００動作とライン点検出動作の組み合わせが含まれる。コーナー検出動作とライン検出動作は同時に実行されることに注意してください。

通常、画像内の角を識別するよりも対応する「線」を識別する方が簡単なので、通常、線検出プロセスは角検出プロセスよりも高速です。 2 つのプロセスは並行して実行でき、ライン検出プロセスの方が高速であるため、ライン検出プロセスを追加しても、位置合わせプロセス全体の速度に悪影響はありません

ラインを組み合わせて画像を位置合わせすると、位置合わせプロセス中に使用する角の数が減り、制約が緩和され、全体的に位置合わせが容易になります。特に低温条件では、コーナーを見つけて一致させるのが難しいため、使用するコーナーの数を減らすことは非常に有益です。

「ライン」は、1 つ以上のピクセルのセットとして定義されます。これらのピクセルは、ピクセルのセットの水平方向に位置する最初の近くのピクセル ブロックに対して均一な強度を持ち、また、1 つのピクセルのセットに対して均一な強度を持ちます。ピクセル セットの垂直方向に位置する 2 番目に近いピクセル ブロックの強度が不均一です。あるいは、それらは、１つまたは複数のピクセルのセットの水平方向に位置する第１の近傍ピクセルブロックに関しては不均一な強度を有し、１つまたは複数のピクセルのセットに関して垂直方向に位置する第２の近傍ピクセルブロックに関しては均一な強度を有する。 # ＃＃＃＃ 図１３には、図１２の画像を表す第１の画像１３０５および第２の画像１３１０が示されている。図１３は、第１の画像１３０５内のコーナー特徴１３１５＃＃を検出できる実装方法も示している。

最初の画像 1305 上でコーナー特徴を検出すると、線特徴 1320 および 1325 に示すように、線特徴も同時に検出されます。一般的に言えば、検出できる角の数に比べて、より多くの線を検出できます

2 番目の画像 1310 で角度と線の操作を実行します。例示の目的で、実施形態はコーナー特徴１３３０を特定する。コーナー検出動作と並行して、実施形態は、線特徴１３３５および線特徴１３４０など、第２の画像１３１０内の線を同時に検出する。

コーナー フィーチャ 1330 はコーナー フィーチャ 1315 に対応し、ライン フィーチャ 1335 はライン フィーチャ 1320 に対応することに注意してください。ライン フィーチャ 1340 はライン フィーチャ 1325 に対応します。実施形態は、これらの対応関係を識別し、次に、これらの特徴点を互いに位置合わせするのに適した運動モデルを生成または使用することができる＃＃＃

発明の原理に従って、最初のしきい値を 1345 と定義しました。最初のしきい値は、2 つの画像を位置合わせするためにこれらの画像内で識別する必要がある、対応する角度特徴の数を指します。同時に、2 番目のしきい値 1350 も定義します。 2 番目のしきい値は、2 つの画像を揃えるために 2 つの画像内で識別する必要がある、対応する行特徴の数を指します。 ＃＃＃第１の閾値１３４５および第２の閾値１３５０が満たされると、実施形態は第１の画像１３０５および第２の画像１３１０からのコンテンツを位置合わせしてオーバーレイ画像１３５５を生成することができる。通常、しきい値は、認識する必要があるコーナーとラインの合計数を指すことに注意してください。

＃＃＃ライン特徴検出を実行する利便性と速度を理解した後、なぜ実施形態がライン検出動作のみに依存し、コーナー検出動作の実行を回避するのか疑問に思うかもしれない。その理由は、画像内の線を検出すると絞りの問題が発生するためです。

書き換えられた内容は次のとおりです。 図 14 によれば、アパーチャの問題、つまりアパーチャの曖昧性が 1400 であることがわかります。図１４では、線分１４０５は線全体の一部である。開口曖昧性 1400 は、線の複数の異なる部分が (ただし不正確に) 識別された線分 1405

に関連している可能性があるという事実を指します。 ＃＃＃たとえば、線分１４１０は、実際には間違った位置または場所にあるにもかかわらず、線分１４０５と一致するピクセルのブロックである可能性がある。同様に、線分１４１５または線分１４２０は、線分１４０５内のピクセルをマッピングまたは一致させるピクセルのブロックを含むことができる。このようなシナリオでは、調整プロセスに曖昧さが生じます。

したがって、線検出プロセス自体に依存するだけでは十分な技術ではありません。換言すれば、線と角度の組み合わせに依存することにより、実施形態は緩和された制約を使用することができ、それによって計算効率が向上する。

プロセスフロー例1500を図15に示す。最初に、頭部装着カメラ画像１５０５および外部カメラ画像１５１０などの画像のセットが取得される。これらの画像は熱画像である可能性があります。画像内の温度勾配またはコントラスト１５２０は、特定のコントラスト閾値１５２５を下回る可能性がある。したがって、画像内の十分な数のコーナーを識別することは非常に困難な場合があります。この場合、ハイブリッド アプローチを利用して角と線の組み合わせを検出し、位置合わせを行うことができます

ヘッドマウントカメラ画像1505と外部カメラ画像1510を角度検出器1530とライン検出器1535に送信する。これら2つの検出器は同時に動作し、相互に依存しない

＃＃＃ ライン検出器１５３５は一般に、角度の検出においてコーナー検出器１５３０よりもラインの検出が速いことに留意されたい。つまり、ライン検出器１５３５の遅延時間は、角度検出器１５３０

の遅延時間よりも短い。

コーナー検出器1530は、2つの画像を分析し、画像内のコーナー点1545を識別する。同様に、線検出器１５３５は２つの画像を分析し、画像内の線１５５０を識別する。次に、実施形態は、２つの画像内の対応する角および線を識別することによって位置合わせ１５５５を実行する。

位置合わせを実行するには、ラインとコーナーのしきい値を決定する必要があります。一致するしきい値は、コーナーまたはラインの数を識別するためのしきい値よりも関連性があります。次に、実施形態は、識別された角および線を運動モデルなどの３Ｄモデル１５６０に適合させる。次いで、モデルフィッティング１５６５操作がモデル１５６０に対して実行され、一方の画像を回転、平行移動、および／または変換して、他方の画像内の対応する角および線を一致または整列させる。

言い換えれば、再投影操作を実行するとき、実施形態は、特定された角および線を使用して、ある画像のコンテンツを別の画像のコンテンツと位置合わせする

関連特許: Microsoft 特許 | コーナーおよびライン機能を使用した画像の位置合わせ

「コーナーとラインの特徴を使用した画像の位置合わせ」というタイトルの Microsoft 特許出願は、2022 年 2 月に最初に提出され、最近米国特許商標庁によって公開されました。

以上がMicrosoft AR/VR 特許は、マルチカメラ画像の位置合わせに角度と線の特徴を使用することを提案していますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。