Microsoft AR/VR 特許は、仮想キーボードをスマートに接続するためのソリューションを共有します

(Nweon 2023 年 5 月 30 日) XR デバイスの場合、仮想キーボードが一般的な入力方法です。従来の仮想キーボードは、ユーザーの近くに一定の角度と距離で表示されます。ただし、ユーザーは、意図に基づいてインテリジェントに移動し、特定の仮想オブジェクトの前に固定され、一貫性のある予測可能なエクスペリエンスを提供できる仮想キーボードを求める場合があります。

たとえば、ホログラフィック デスクトップ オフィスでは、ユーザーは仮想キーボードを仮想スクリーンの前面に直接接続して、物理キーボードと物理スクリーンの対応する位置関係と同様の構成を作成したいと考えています。仮想キーボードと仮想スクリーンが同じウィンドウ内に同時に表示されます。

「複合現実入力のためのインテリジェント キーボード接続」というタイトルの特許出願で、Microsoft はスマート キーボード接続方法を紹介しました。

図3では、仮想入力デバイス305は仮想キーボードであり、仮想オブジェクト303に対応するアプリケーションへの入力を可能にするように構成されています。仮想入力装置３０５が仮想オブジェクト３０３に取り付けられると、仮想オブジェクト３０３は、中心窩相互作用および／または光線相互作用などの入力を受信するための他の機構を無効にする。

＃＃＃ 一実施形態では、仮想入力装置３０５は、ユーザの頭の移動に応じて環境３０１内を移動することができるため、仮想入力装置３０５はユーザの視野に含まれなくなる。換言すれば、仮想入力装置３０５は、容易に視野に入ったり、容易に視野から外れたりすることができる。

＃＃＃＃ 仮想入力装置３０５を仮想オブジェクト３０３に取り付けることは、仮想入力装置３０６が仮想オブジェクト３０３から位置を継承するように、仮想オブジェクト３０３と仮想入力装置３０４との間に階層的な位置変換関係を作成することを指す。階層的な位置関係には、仮想オブジェクト３０３と仮想入力装置３０５との間の距離、方向、角度のうちの１つ以上が含まれる。

＃＃＃＃仮想オブジェクト３０３からの仮想入力装置３０５のオフセットにより、仮想入力装置に最適な人間工学的角度が提供される。仮想オブジェクト３０３と仮想入力装置３０５との間のオフセットは固定されている。もちろん、別の実装形態では、仮想オブジェクト３０３と仮想入力デバイス３０５との間のオフセットは動的のままであってもよい。

図 4 は、2 つの仮想オブジェクトと 1 つの仮想入力デバイスを含む MR 環境を示しています。 ＃＃＃＃ 環境４０１は、第１のアプリケーションプログラムに対応する仮想オブジェクト３０３を含む。同時に、ユーザは、第１のアプリケーションプログラム以外の第２のアプリケーションプログラムを開き、第２のアプリケーションプログラムに対応する第２の仮想オブジェクト４０３を生成することができる。

＃＃＃＃仮想オブジェクト３０３と同様に、第２の仮想オブジェクト４０３は、３次元環境４０１内の特定の位置に提供される。第２仮想オブジェクト４０３とともに仮想入力装置３０５を利用するというユーザの意図の決定に応じて、第２仮想オブジェクト４０３は仮想入力装置３０５を第２仮想オブジェクト４０３に近い位置に再配置する。

例えば、意図の決定は、仮想オブジェクト403に関するユーザ入力が意図されたものであるか、または予期されたものであることを示すために、クエリボタンなどの仮想入力デバイス305上のボタンのユーザ選択に基づいてよい。

＃＃＃ 決定に応じて、仮想入力装置３０５は、仮想オブジェクト３０３に近い元の位置から外され、第２の仮想オブジェクト４０３に近い新しい位置で第２の仮想オブジェクト４０３に再取り付けされる。

ユーザが仮想オブジェクト303に対応する最初のアプリケーションに戻る実装では、仮想入力デバイス305は仮想オブジェクト303に近い元の位置に再配置される。

＃＃＃＃言い換えれば、仮想入力装置３０５は、特定の時点でユーザが対話を希望する仮想オブジェクトに提供される。

Microsoft は、この構成はユーザーに一貫した予測可能なエクスペリエンスを提供し、3 次元環境 301、401 におけるユーザーの位置ではなく、使用されている特定のアプリケーションに依存すると述べています。

ユーザーが操作したい特定のアプリケーションは、さまざまなメカニズムを通じて識別されます。

＃＃＃ 一実施形態では、ユーザが対話しようとする特定のアプリケーションは、ユーザが対話している現在の仮想オブジェクトまたはパネルに基づく。例えば、仮想オブジェクト３０３が連絡先リストである場合、入力は連絡先リスト内の連絡先を検索することができる。仮想オブジェクト３０３が仕事アプリケーションである場合、入力により仕事アプリケーションでキーワードまたはドキュメントを検索することができる。仮想オブジェクト３０３がインシデント報告アプリケーションである場合、入力はインシデント報告書に記入するための説明であってもよい。

したがって、仮想入力デバイス305は、ユーザーの意図に基づいて特定の仮想オブジェクトから取り外すことができるインテリジェント入力デバイスです。

＃＃＃ 一実施形態では、仮想入力デバイス３０５を仮想オブジェクト３０３から分離するインテントからの入力を受信することができる。入力は、仮想入力装置３０５を介して受信される入力、ハイライト２００によって決定される注視パターン、仮想オブジェクト３０３、４０３上の取り消しアイコンの選択、仮想入力装置３０４上の特定のボタンへの入力などであってもよい。 。

＃＃＃＃ 仮想入力装置３０５を仮想オブジェクト３０３から切り離す、すなわちドッキング解除により、ユーザが静止したまま、仮想入力装置が環境３０１、４０１内の異なる仮想オブジェクト間を切り替えることができる。仮想入力装置３０５が取り付けられると、視覚的な合図または視覚補助が提供される。

＃＃＃ 一実施形態では、仮想入力装置３０５は、仮想オブジェクト３０３から切り離されるかまたはドッキング解除され、環境４０１から除去される。次の呼び出しで、仮想入力装置３０５は、仮想オブジェクト３０３にアタッチされた環境４０１内で再インスタンス化される。

＃＃＃ 他の実施形態では、仮想入力装置３０５は仮想オブジェクト３０３から切り離されるが、環境４０１に残り、新しいおよび／または次の仮想オブジェクト４０３に接続される。別のＳＳＬでは、仮想入力デバイス３０５は仮想オブジェクト３０３から切り離されるが、環境４０１内に残り、環境４１０内の特定の場所に留まる。

＃＃＃ 別の実施形態では、仮想入力装置３０５は仮想オブジェクト３０３から切り離されるが、ユーザに近いオフセットで環境４０１内に残る。例えば、仮想入力装置３０５は、ヘッドセットの位置および方向に基づいて、ユーザが位置する場所のわずかに前および左または右に保持されてもよい。

＃＃＃＃ 別個の仮想入力デバイス３０５は、音声コマンドまたは他のメカニズムなどを通じて、ユーザまたは特定の仮想オブジェクト３０３、４０３に対して呼び出すことができる。ここで、仮想入力装置３０５はユーザから遠く離れて配置されており、ユーザは仮想入力装置３０６を取り出すために移動する必要がなく、仮想入力装置３０４を素早く自分の元に持ってくることができ、仮想入力装置３０７は受動的に近づけられる。ユーザーの都合に合わせて、すぐに使用できる人間工学に基づいたポジション。

図 5 は、マルチターゲット環境を示しています。環境５０１は、仮想オブジェクト３０３、４０３、５０３などの複数の仮想オブジェクトを含む。例えば、環境５０１は仮想デスクトップ環境であり、異なる仮想オブジェクト３０３、４０３、５０３を含むことができ、各仮想オブジェクトは仮想デスクトップ内の異なるアプリケーションに対応する。

＃＃＃＃たとえば、仮想オブジェクト３０３はメッセージングアプリケーションであり、仮想オブジェクト４０３はインターネットブラウザアプリケーションであり、仮想オブジェクト５０３は連絡先アプリケーションである可能性がある。

各仮想オブジェクト 303、403、503 は、仮想入力デバイス 305 の個別のターゲットです。ユーザが仮想オブジェクト３０３、４０３、５０３への入力の提供を周期的に切り替えることができるような状況では、ユーザは、仮想入力デバイス３０５がユーザの近くなどの特定の場所に取り付けられ、近くのデバイスとして機能することを望む場合がある。 -フィールドフローティング入力デバイス。 ＃＃＃＃したがって、仮想入力装置３０５とターゲット仮想オブジェクトとの間に視覚的リンク５０５を提供することができる。例えば、図５は、仮想入力装置３０５と仮想オブジェクト３０３との間の視覚的リンク５０５を示し、特定の時間に、仮想入力装置３０４上で受信された入力が仮想オブジェクト３０３への入力を生成することを示す。

＃＃＃ 一実施形態では、視覚リンク５０５は、仮想入力装置３０５をターゲット仮想オブジェクトに接続し、ユーザ入力の一貫した理解を向上させる、線などの仮想オブジェクトである。他の実装では、視覚リンクは、ステッカー、星、ドットなど、ターゲット仮想オブジェクト上の視覚マーカーです。

図 6 は、仮想オブジェクトと仮想入力デバイス間のオフセットを示しています。

＃＃＃ 図６ に示すように、仮想入力装置３０５は、仮想オブジェクト３０３から一定の距離６０３の位置に設けられる。仮想オブジェクト３０３および仮想入力装置３０５のいずれかが移動するとき、仮想オブジェクト３０３と仮想入力装置との間には距離６０３が維持される。

言い換えれば、仮想オブジェクト303が元の位置から特定の距離移動すると、仮想入力装置305も元の位置から特定の距離移動して、仮想オブジェクト303と仮想入力装置との間の距離603を維持する。 304.

同様に、仮想入力デバイス305がその元の位置から特定の距離だけ移動する場合、仮想オブジェクト303もその元の位置から特定の距離だけ移動して、仮想オブジェクト303と仮想入力デバイス304との間の距離603を維持する。

＃＃＃ 距離６０３は、仮想入力デバイス３０５によって表される特定のタイプの入力デバイスに少なくとも部分的に基づく。たとえば、仮想キーボードは物理キーボードに似ており、サイズや形状も似ています。 ＃＃＃＃ 仮想オブジェクト３０３が移動されるとき、仮想入力装置３０５は、仮想オブジェクト３０３と仮想入力装置３０３との間の距離６０３および角度６０５を維持するために、仮想オブジェクト３０３とともに移動するか、または仮想オブジェクト３０３に追従することができる。したがって、仮想オブジェクト３０３と仮想入力装置３０５との間のオフセットは、様々な実施形態において提供され得る。

図7A〜7Dは、仮想オブジェクトおよび仮想入力デバイスの視野の変化を示しています。

＃＃＃ 図７Ａに示すように、仮想オブジェクト３０３および仮想入力デバイス３０５は、完全に第１の視野７０５内にある。換言すれば、仮想オブジェクト３０３および仮想入力装置３０５のそれぞれは、ユーザの全視界内にある。

＃＃＃ 図７Ｂでは、仮想オブジェクト３０３および仮想入力デバイス３０５のそれぞれは、第２の視野７１０の完全に外側にある。視野は、第１の視野７０５から第２の視野７１０に変化する。例えば、ユーザが頭を動かすと、ヘッドセットが移動し、第１の視野７０５から第２の視野７１０まで変化、更新、変更などが行われる。他の実装形態では、視野自体は変化していない可能性があるが、仮想オブジェクト303および仮想入力デバイス305は、たとえばユーザが誤って仮想オブジェクト303および仮想入力デバイス305を最初の領域にドラッグすることによって視野の外に移動した可能性がある。視野角705を越える。

＃＃＃したがって、ユーザが仮想オブジェクト３０３および仮想入力デバイス３０５を見ることができないため、第２の視野７１０は課題を提示し、仮想入力デバイス３０４を介して仮想オブジェクト３０３に入力を提供することが困難になる。

したがって、視野からの仮想オブジェクト303および仮想入力デバイス305の除去は、特許に記載されている方法を使用して修正することができる。

＃＃＃＃ 図７Ｃは、仮想オブジェクト３０３および仮想入力デバイス３０５が徐々に視野内に再導入される第３の視野７１５を示す。仮想オブジェクト３０３および仮想入力装置３０５をほぼ瞬時に視野内の元の位置にスナップして戻すのではなく、仮想オブジェクト３０３および仮想入力装置３０５は、より快適な体験を維持するために徐々に視野内に再導入される。ユーザー。

＃＃＃＃ 図７Ｄは、仮想オブジェクト３０３および仮想入力装置３０５が視野内に戻された後の第４の視野７２０を示す。第４の視野７２０は、仮想オブジェクト３０３および仮想入力装置３０５が第１の視野７０５内の元の位置に戻されているという点で、第１の視野７０５と実質的に同様である。

関連特許

: Microsoft 特許 | 複合現実入力用のインテリジェント キーボード アタッチメント

マイクロソフトの特許出願「複合現実入力用インテリジェント キーボード アタッチメント」が最近、米国特許商標庁によって公開されました。

以上がMicrosoft AR/VR 特許は、仮想キーボードをスマートに接続するためのソリューションを共有しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。