Microsoft の特許が AR/VR 光投影校正干渉用のモニタリング光源ソリューションを提案

(Nweon 2023 年 8 月 24 日) XR 機器には、通常、左側のビーム パスに接続された左側のプロジェクターと、右側のビーム パスに接続された右側のプロジェクターが含まれています。左側のプロジェクターは、左側の画像を生成し、その左側の画像を左側のビーム経路を通じてユーザーの左目に伝播するように構成されています。正しいプロジェクターは正しい画像を生成するように構成されており、画像は正しいビーム経路を通ってユーザーの右目に届きます。

この XR デバイスの構造は、通常の使用、温度変化、衝撃により変化する可能性があります。 R デバイスの構造が変更されると、画像の視軸が失われ、位置が正しく配置されなくなる可能性があります。この問題は、メガネ型デバイスではさらに深刻になる可能性があります。

キャリブレーション イメージを投影し、そのキャリブレーション イメージを使用してモニターが正しく配置されているかどうかを判断するように構成された XR デバイスがあります。キャリブレーション画像はユーザーに見えるため、キャリブレーション/修正操作によってユーザー エクスペリエンスが中断されることがよくあります。

「プロジェクターの位置と方向の監視」というタイトルの特許出願で、マイクロソフトは、監視光源 (レーザー ダイオードやレーザー ダイオード アレイなど) を使用して監視ビームを生成し、プロジェクターの位置と方向を監視することを提案しました。プロジェクターを使用することで上記の問題を解決します。

プロジェクターには反射型空間光変調器が搭載されています。監視ビームは監視カメラに向けられて直接フィードバックが得られ、それを使用して XR デバイスの軸方向の視野の変化を補正できます。一実施形態では、単一のカメラが、左目用プロジェクタと右目用プロジェクタからの画像を組み合わせて、この測定における誤差を減らすように構成されている。

＃＃＃ 一実施形態では、モニタ光源は、非常に狭い波長帯域を有する１つ以上のエッジエミッタダイオード、または１つ​​以上の垂直外部空洞面発光レーザＶＥＣＳＥＬダイオードであってもよい。一実施形態では、モニタ光源は、点のセットを投影するように構成されたエッジエミッタダイオードまたはＶＥＣＳＥＬダイオードのセットである。

非常に狭い波長帯域のレーザー光線を監視光線として使用すると、そのようなレーザー波長帯域はユーザーには見えない、または照明光線 (可視光線) とは異なる波長帯域を選択できるため、有利です。モニタリングビームを照明ビームフィルターアウトから取り除くことができること。さらに、レーザーの光出力を照明光自体よりも大きく設定できるため、監視カメラの信号対雑音比の問題を克服できます。同時に、このような狭い波長帯域は、位相レンズをベースにした非常に小型の監視カメラに使用できます。

＃＃＃ 一実施形態では、モニタビームは、モニタビーム経路を通って伝播してモニタ画像を生成する前に、プロジェクタの反射型空間光変調器によって変調される。あるいは、モニタビームは、モニタ画像を生成するためにモニタビーム経路を通って伝播する前に、プロジェクタの反射型空間光変調器によって変調されず、モニタカメラは、象限ダイオード検出器、カメラ、および／またはレンズレスカメラを含んでもよい。

＃＃＃ 一実施形態では、モニタビームは、ビーム経路内のプロジェクタとは異なる経路に向けられ、これにより、モニタカメラにおける信号対ノイズがさらに改善される。さらに、プロジェクター信号とは別のモニター信号専用のビーム経路により、レーザーをユーザーの目に向ける経路がないため、エンドユーザーにレーザーの安全性を提供します。

監視カメラは、左右の画像の姿勢や両方の画像の変化を測定し、適用された補正を監視できます。プロジェクターには、さまざまなプロジェクター設計が用意されています。監視ビームと照明ビームの統合は、同じ側から来てもよいし、異なる側から来てビーム結合器、例えばダイクロイックビーム結合器によって結合されてもよい。

＃＃＃＃ 図１Ａは、本明細書で説明される原理を実装する投影システム１００Ａの例示的なアーキテクチャを示す。投影システム１００Ａは、照明光源１１０、モニタ光源１２０およびプロジェクタ１４０を含む。照明光源１１０は、照明ビーム１１２Ａをプロジェクタ１４０に放射するように構成され、監視光源１２０は、監視ビーム１２２Ａをプロジェクタ１４０に放射するように構成されている。

＃＃＃ 一実施形態では、プロジェクタ１４０は、ビーム１１２Ａおよび１２２Ａを変調してプロジェクタ１４０の出力１４４Ａを生成するように構成された反射型空間光変調器１４２を含む。プロジェクタ１４０の出力１４４Ａは、投影された照明ビーム１４４Ｉと投影された監視ビーム１４４Ｍを含む投影された結合ビーム１４４Ａである。

その後、投影された照明ビーム1441は、ユーザの目160に向けられた照明ビーム経路152に向けられ、その結果、ユーザの目160は、照明ビーム112Aに対応する表示画像を見る。

＃＃＃＃投射された監視ビーム１４４Ｍは監視カメラ１７０に向けられ、監視カメラ１７０は監視ビーム１２２Ａに対応する監視画像を取得する。

照明ビーム112Aと監視ビーム122Aの両方がプロジェクタ140を通して投影されるため、監視カメラ170によって捕捉された監視画像を使用して、監視画像の方向または位置を決定することができる。

＃＃＃ 一実施形態では、照明光源１１０は、赤色光ビーム、緑色光ビームを含む可視赤、緑、青（ＲＧＢ）光ビームなどの第１の波長帯域の光ビームを放射するように構成される。ビーム、青色光ビーム、またはそれらの組み合わせ。監視光源１２０は、監視光源によって生成された画像が監視カメラ１７０のみに検出可能であり、人間の目には見えないように、非可視光などの第２の波長帯域の光線を放射するように構成されている。

＃＃＃ 一実施形態では、照明ビーム経路１５２は第１の波長帯域の光を伝播するように構成され、モニタビーム経路１５４は第２の波長帯域の光を伝播するように構成されている。このようにして、投影された結合ビーム１４４Ａは、照明ビーム経路１５２と監視ビーム経路１５４に分割される。

＃＃＃ 一実施形態では、第１の波長帯域のビームのみが照明ビーム路１５２上を伝播するように、フィルタが照明ビーム路１５２の前に配置されて第２の波長のビームが除去される。さらに、第２の波長帯域のモニタ光のみがモニタ光路１５４上を伝播するように、モニタ光路１５４の前にフィルタが配置されて第１の波長の光が除去される。

＃＃＃＃監視ビーム１１２Ａは照明ビームとは異なる経路に向けられるため、監視カメラ１７０における信号対雑音比がさらに改善される。一実施形態では、監視ビームのパワーは照明ビームのパワーより大きいため、信号対雑音比がさらに改善され、監視画像がカメラ１７０で認識できるようになる。

＃＃＃ 一実施形態では、照明光源１１０は、第１の方向に照明ビームを放射するように構成され、監視光源１２０は、第１の方向と交差する第２の方向に監視ビームを放射するように構成される。照明ビームと監視ビームはプロジェクタの第１の位置で交差し、プロジェクタの２つの独立した位置、すなわち第２の位置と第３の位置で出力される。

出力ビームはさまざまな方向に伝播します。投影された照明ビームはユーザーの目に向かって第１の方向に進み、投影されたモニタビームはモニタカメラに向かって第２の方向に進む。

＃＃＃ あるいは、一実施形態では、ビーム結合器を使用して、照明光とモニタ光を結合して、プロジェクタ１４０に向かう結合ビームにすることができる。

＃＃＃ 図１Ｂは、投影システム１００Ｂの構造例を示す。投影システム１００Ｂは、照明光１１２Ｂと監視ビーム１２２Ｂをプロジェクタ１４０に向かう結合ビーム１３２に結合するように構成されたビーム結合器１３０を含む。プロジェクタ１４０は、合成ビーム１３２を投影合成ビーム１４４Ｂに投影するように構成されている。図１Ａの投影された結合ビーム１４４Ａと同様に、投影された結合ビーム１４４Ｂは分割され、２つの異なるビーム経路１５２、１５４上を伝播する。

＃＃＃＃ 図１Ａまたは１Ｂに示される投影システム１００Ａまたは１００Ｂは、ポータブルプロジェクタおよび／またはヘッドマウントデバイス（ＶＲ／ＡＲデバイスなど）に実装することができ、ポータブルプロジェクタおよび／またはヘッドマウントデバイスを可能にする。取り付けられたデバイスの軸方向の位置合わせを自己監視および/または調整します。ヘッドマウントデバイスに実装する場合、そのような投影システムを 2 つ (左目用と右目用に 1 つ) 実装できることは注目に値します。

＃＃＃＃ 図２Ａおよび２Ｂは、それぞれ図１Ａまたは１Ｂの投影システム１００Ａまたは１００Ｂに対応する左投影システム２００Ｌおよび右投影システム２００Ｒを実装する例示的なヘッドマウントデバイス２００の正面図および上面図を示す。図示のように、左投影システム２００Ｌは、照明光源２１０Ｌおよび監視光源２２０を含む。一実施形態では、左投影システム２００Ｌはビームコンバイナ２３０Ｌも含む。

＃＃＃ 図２Ｂを参照すると、照明光源２１０Ｌは照明ビーム２１２Ｌを放射するように構成され、監視光源２２０Ｌは監視ビーム２２２Ｌを放射するように構成されている。ビーム結合器２３０Ｌは、照明ビーム２１２Ｌと監視ビーム２２２Ｌを結合して結合ビーム２３２Ｌにするように構成され、結合ビーム２３２Ｌはプロジェクタ２４０Ｌによって投影結合ビーム２４２Ｌに投影される。

図２Ａを参照すると、ヘッドマウントデバイス２００は、照明ビーム経路２５２Ｌ（図１Ａまたは１Ｂの照明ビーム経路１５２に対応する）と監視ビーム経路２５４Ｌ（図１の監視ビーム経路１５４に対応する）の両方を含む。 1A または 1B)。

投影された合成ビームの第１の部分は、照明ビーム経路２５２Ｌを通ってユーザの目（図示せず）に向かって伝播し、投影された合成ビームの第２の部分は、モニタビーム経路２５４Ｌを通ってカメラ２７０に向かって伝播する。

＃＃＃＃投影された結合ビームの第１の部分は、プロジェクタ２４０Ｌによって投影された照明ビームの少なくとも一部を含み、ユーザの目は照明ビームに対応する表示画像を見ることができる。投影された合成ビームの第２の部分は、プロジェクタ２４０Ｌによって投影された第１のモニタビームの少なくとも一部を含む。

＃＃＃ 再び図２Ｂを参照すると、２つの監視ビーム経路２５４Ｌおよび２５６Ｌは、２つの監視ビームを結合して結合監視ビーム２６２にするように構成されたビーム結合器２６０を含む。結合された監視ビーム２６２は、その後、監視カメラ２７０内に伝播される。

＃＃＃＃監視カメラ２７０は、投影された結合ビームの第２の部分を受信し、プロジェクタ２４０Ｌによって投影された監視ビームに対応する監視画像を捕捉するように構成されている。

次に、モニター画像を解析して、モニター画像の向きまたは位置を決定します。モニタ画像の向きや位置が正しくないと判断された場合は、プロジェクタ２４０Ｌの向きや位置を調整してください。例えば、一実施形態では、照明画像がモニタ画像の向きに基づいて特定の角度だけ回転されるように、照明画像に関連付けられた画像データが変換される。

＃＃＃別の例として、照明画像に関連付けられた画像データを変換して、照明画像を移動、拡大、および／または縮小させることができる。

＃＃＃ 一実施形態では、照明光源２１０Ｌは、可視光などの第１の波長帯域の光ビームを放射するように構成され、監視光源２２０Ｌは、可視光などの第２の波長帯域の光ビームを放射するように構成されている。監視光源によって生成された画像は監視カメラ２７０のみに見え、ユーザには見えない。

＃＃＃ 一実施形態では、監視ビームのパワーは照明ビームのパワーより大きいため、監視カメラ２７０によって捕捉された監視画像は、監視画像の識別を可能にするのに十分な信号対雑音比を有する。 。

＃＃＃ 一実施形態では、照明ビーム路２５２Ｌは第１の波長帯域の光を伝播するように構成され、モニタビーム路２５４Ｌは第２の波長帯域の光を伝播するように構成されている。したがって、投影された結合ビームは、照明ビーム経路２５２Ｌと監視ビーム経路２５４Ｌに分割される。

＃＃＃ 一実施形態では、第１の波長帯域のビームのみが照明ビーム路２５２Ｌ上を伝播するように、フィルタが照明ビーム路２５２Ｌの前に配置され、第２の波長のビームが除去される。さらに、モニタ光路２５４Ｌの前に第１波長の光を除去するフィルタが配置され、第２波長帯域のモニタ光だけがモニタ光路２５４Ｌ上を伝播する。

＃＃＃ 一実施形態では、監視画像は、点または線の所定のセットを含む。図３Ａおよび図３Ｂは、監視カメラ２７０によって撮影された監視画像の例を示す。

＃＃＃ 図３Ａに示されるように、監視画像３００Ａは、４つの点３０２Ａ、３０４Ａ、３０６Ａ、３０８Ａで構成されるグリッドを含む。グリッドは、第１の波長帯域の光ビームをフィルタリングすることによって、および／またはこれを使用することによって構成され得る。これは、第２の波長帯域のビームを伝播するビーム経路２５４Ｌを監視することによって達成される。

＃＃＃ 一実施形態では、監視画像３００Ａは、監視カメラ２７０のアキシャルビュー３１０Ａと比較されて、監視画像３３０Ａが正しい向きまたは位置にあるかどうかを判定する。

＃＃＃＃図３Ｂに示すように、監視画像３００Ｂは、表示画像３２０Ｂ上に重畳された４つの点３０２Ｂ、３０４Ｂ、３０６Ｂ、３０８Ｂから構成されるグリッドを含み、これは、第１の波長帯域の光線をフィルタリングしないことによって達成することができる。 、または、第１の波長帯域および第２の波長帯域のビームを伝播するように構成されたビーム経路を使用することによって引き起こされる。

＃＃＃ さらに、監視画像３００Ｂは、監視カメラ２７０の内径３１０Ｂと比較されて、監視画像３００Ｂが正しい向きまたは位置にあるかどうかを判定することができる。一実施形態では、監視ビーム２２２Ｌ、２２２Ｒのパワーは照明ビーム２１２Ｌ、２１２Ｒのパワーよりも大きく（または著しく大きく）、それによって信号対雑音比がさらに増加し​​て監視画像の識別が可能になる。

＃＃＃ 図２Ａ〜図２Ｂに戻ると、ヘッドマウントデバイス２００は、第２の照明光源２１０Ｒ、第２のモニタ光源２２０Ｒ、第２のビームコンバイナ２３０Ｒ、第２の照明ビーム経路２５２Ｒ、および第２のモニタビームを同時に含む。光路２５４Ｒ、第１のモニタ光源２２０Ｌ、第１のビームコンバイナ２３０Ｌ、第１の照明光路２５２Ｌ、および第１のモニタ光路２５４Ｌ。第１群の要素２１０Ｌ、２２０Ｌ、２３０Ｌ、２４０Ｌと第２群の要素２１０Ｒ、２２０Ｒ、２３０Ｒ、２４０Ｒは、頭部装着装置２００の左側と右側に対称的に配置されている。

第1のコンポーネントセット210L、220L、230L、240Lは、ユーザーの第1の目に第1の画像を投影するように構成され、第2のコンポーネントセット210R、220R、230R、240Rは、ユーザーの第2の目に投影するように構成されている。 2 番目の画像を投影します。

＃＃＃ 一実施形態では、監視カメラ２７０は、第１の監視ビーム経路２５４Ｌからの第１の投影結合ビームの一部、および／または第２の監視ビーム経路２５４Ｒからの第２の投影結合ビームの一部を受信するように構成される。監視カメラ２７０は、第１の監視ビーム経路２５４Ｌから受け取った第１の光ビームに基づいて第１の監視画像を取り込むように、および／または第２の監視ビーム経路２５４Ｒから受け取った第２の光ビームに基づいて第１の監視画像を取り込むように構成されている。 . 2. 監視画像。

＃＃＃ 一実施形態では、第１の監視画像または第２の監視画像がそれぞれ分析されて、第１の監視画像または第２の監視画像のそれぞれが正しい向きまたは位置にあるかどうかが判定される。監視カメラ２７０は、重畳した第１の監視画像と第２の監視画像とを撮影するように構成されている。第１のモニタ画像は第２のモニタ画像と比較され、両目の相対的な内視距離が揃っているかどうかが判定される。

＃＃＃ 一実施形態では、投影システムごとに別個の監視カメラが実装される。例えば、ヘッドマウントデバイスは、第１のプロジェクターから第１の監視画像を取り込むように構成された第１の監視カメラと、第２のプロジェクターから第２の監視画像を取り込むように構成された第２の監視カメラとを含む。次いで、捕捉された第１および第２の監視画像は、第１および第２のカメラのそれぞれの内径と、または相互に比較されて、互いの相対的な内径を決定することができる。

＃＃＃＃ 図４Ａおよび図４Ｂは、監視カメラ２７０によって捕捉された画像４００Ａ、４００Ｂの例を示しており、第１の監視画像（第１の監視ビーム経路２５４Ｌから受信）と第２の監視画像（第２の監視ビーム経路２５４Ｒから受信）が重ね合わされている。お互いに。

＃＃＃ 図４Ａに示すように、監視カメラ２７０によって捕捉された画像４００Ａは、４つの点４０２Ａ、４０４Ａ、４０６Ａ、および４０８Ａを有する第１のグリッドの第１の監視画像を含む。第２のモニタ画像は、４つの点４１２Ａ、４１４Ａ、４１６Ａ、４１８Ａからなる第２のグリッドを有する。第１の監視画像と第２の監視画像は重畳される。

図4Aに示すように、第1の格子点402A、404A、406A、および408Aは、第2の格子点412A、414A、416A、および418Aと整列していない。これは、それらが、相対視軸と整列していないことを示している。二つの目。

＃＃＃ 一実施形態では、両目の相対的な軸のずれを決定するために、ヘッドマウントデバイス２００は、第１のプロジェクタまたは第２のプロジェクタ（または第１の照明画像および／または第２の照明画像の方向または位置）を調整するように構成される。少なくとも 1 つの照明画像）を使用して、相対軸が揃うようにします。

＃＃＃＃ 図４Ｂは、監視カメラ２７０によって捕捉された画像４００Ｂの例を示しており、第１の表示画像４１０Ｂ、４つの点４０２Ｂ、４０４Ｂ、４０６Ｂ、４０８Ｂを有する第１のグリッドの第１の監視画像、第２の表示画像４２０Ｂを含む。 ４つの点４１２Ｂ、４１４Ｂ、４１６Ｂ、４１８Ｂからなる第２のグリッドの第２の監視画像。

＃＃＃＃第１表示画像４１０Ｂ、第１監視画像、第２表示画像４２０Ｂ、および第２監視画像が重畳される。一実施形態では、オーバーレイ画像４００Ｂはさらに処理されて、第１の監視画像および／または第２の監視画像が抽出される。次いで、抽出された第１の監視画像および／または第２の監視画像が分析されて、監視画像および／または第２の監視画像が正しい方向または位置にあるかどうかが判断される。

＃＃＃＃ 図８は、ヘッドマウントデバイス上に実装される例示的な方法８００のフロー図を示す。方法８００は、第１のプロジェクターから第１の監視画像を取り込むこと（動作８１０）と、第２のプロジェクターから第２の監視画像を取り込むこと（動作８２０）を含む。

＃＃＃＃動作８１０、第１のプロジェクターから第１のモニター画像を取得することは、第１の投影システムによって実行され、投影システムは、第１の照明光源、第１のモニター光源、第１のビーム経路、第２のビーム経路およびカメラ。

＃＃＃＃動作８１０、第１の照明光源から第１の照明ビームを放射し（動作７１０）、第１の監視光源から第１の監視光ビームを放射し（動作７２０）、照明ビームおよび監視ビームを第１の照明光ビームに投影する。投影ビーム内の最初のプロジェクターを介してプロジェクターを接続します。一実施形態では、第１の照明光源と第１のモニタ光源は、互いに異なる関心方向に光を放射するように構成され、第１の照明光ビームと第１のモニタ光ビームは結合されて、第３の光ビームに向けられる。最初のプロジェクター、ビームの組み合わせ。

＃＃＃＃動作８１０は、同時に、第１の投影された結合ビームの第１の部分を第１のビーム経路を通じてユーザーの第１の目に向かって伝播することと、第２の投影されたビームの第２の部分を第２のビーム経路を通じてカメラに向かって伝播し、次いで、カメラ 監視映像を撮影します。

act820、同様に、第2のプロジェクターから第2のモニター画像を取り込むことは、第2の投影システムによって実行され、投影システムには、第2の照明光源、第2のモニター光源、第3のビーム経路、および第4のビームが含まれるパスとカメラ。

＃＃＃一実施形態では、第１の投影システムと第２の投影システムは同じカメラを共有する。第１の投影システムは第１のカメラを含み、第２の投影システムは第２のカメラを含む。第１の監視画像と第２の監視画像は重畳して撮影される。一実施形態では、第１の監視画像と第２の監視画像は別々に取得される。

次に、ステップ８３０において、第１の監視画像と第２の監視画像とを比較し、第１のプロジェクタと第２のプロジェクタの内部の相対的な視野が一致しているか否かを判定する。

＃＃＃＃行為８４０、相対的な軸のずれの決定に応答して、第１または第２のプロジェクターの少なくとも１つの向きまたは位置を調整する。一実施形態では、相対軸方向ビューが位置合わせされているかどうかの決定に応答して、投影システムは、ユーザ入力に基づいて所定の時間および／または所定の頻度で動作８１０〜８３０を再度繰り返すことができる。

＃＃＃ 一実施形態では、照明ビームと監視ビームは結合されず、または平行でもない。照明光と監視光はプロジェクター内部で交差し、独立した 2 か所から出射されます。このような実施形態により、照明ビームをユーザの目に送信し、監視ビームを監視カメラに送信することが容易になる。

関連特許

: Microsoft Patent | プロジェクターの位置と向きの監視

「プロジェクターの位置と方向の監視」というタイトルの Microsoft 特許出願は、2022 年 1 月に最初に提出され、最近米国特許商標庁によって公開されました。

以上がMicrosoft の特許が AR/VR 光投影校正干渉用のモニタリング光源ソリューションを提案の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。