ホームページ >テクノロジー周辺機器 >AI >何百もの AR/VR 特許を掘り起こし、Apple XR のあらゆる側面を探索してください
何百もの AR/VR 特許を掘り起こし、Apple XR のあらゆる側面を探索してください
- 王林転載
- 2023-06-03 23:40:021282ブラウズ
最近、Apple XR に関する多くのニュースも目にしていますが、さまざまな新事実を見るよりも、特許から始めて、Apple XR ヘッドセットがどのようなさまざまな方法で再生できるかを確認することをお勧めします。したがって、私たちは近年の Apple の数百件の AR/VR 特許から選択し、XR 製品エクスペリエンスを直接決定し影響を与える可能性のある特許をまとめました。もちろん、これらの特許は 1 つの製品に集中しているわけではないため、Apple XR がどのようなものであるかを正確に伝えることはできませんが、特許を通じてそれを垣間見ることはできます。
近年の Apple の AR/VR 特許を整理したところ、主に次の特徴が見つかりました:
1) 一部の AR/VR 特許は、PrimeSense、Metaio、NextVR、SMI、Spaces など、以前に買収した企業から取得されています。
2) ストラクチャード ライト、LiDAR 測距、VST パースペクティブ、デジタル ノブ、ダイナミック ズームなどが Apple のイノベーションの焦点です。3) さまざまな光学ソリューション、回折光導波路、網膜投影などを探索します;
4) その後の多くの特許では、ヘッドセットの VST カメラ アレイと組み合わせて使用されることが期待される、マルチレンズ グループ AR/VR ディスプレイ ソリューションについて説明されています。
＃＃＃目次＃＃＃1、光学ディスプレイ
2、視線追跡
- 3、バイオセンサー
- 4、インタラクティブテクノロジー
- 5、VST の観点
- 6、空間オーディオ
- セブン、測位システム
- 8、その他のセンサー
- 9、外観デザイン
- 10、UXデザイン
- 11、アプリケーションシナリオ
- 1. 光学ディスプレイ
◎ LBS マイクロミラー スキャニング ソリューション 回折光導波路: No. US20190377181A1 など
光路の設計にはさまざまな種類があり、位相格子と導波路の間に反射偏光子を挿入することも可能で、その特徴は、光ビームを切り替えて反射光と回折光の相対偏光を変化させることができることです。ライト。
◎網膜スキャン: 
No. US10681328B1
Apple は AR/VR 網膜投影システムについて説明しています。原理は、マイクロミラーを使用してユーザーの網膜上でピクセルを 1 つずつスキャンすることです。利点は、動的なズームがサポートされており、AR/VR 画像内のオブジェクトや表面を表示できることです。正しい視覚方向で表示され、奥行きが表示されます。
#◎ 調整可能なレンズ導波路
別の特許 (US11221488B1) で Apple は、フォーカス レンズには 1 つ以上の液晶レンズ、液体が満たされたレンズ、またはアルバレス レンズを使用できると指摘しました。これらのレンズは、視力調整をサポートし、近視、遠視を軽減することを特徴としています。 、などの質問です。
◎ホログラフィック光導波路マイクロLED
No. US20180321432A1. この特許の中で、Apple はマイクロ LED 光源を使用し、ホログラフィック光学フィルムと組み合わせた光導波路ソリューションについて説明しています。次元の視覚認識。
ホログラフィック光導波路に加えて、Apple は別の 2019 特許 (US20190285897A1) で、半反射および半透明の特性を持つ反射型ホログラフィック コンバイナーに基づく AR 光学ソリューションについて言及しました。
◎反射屈折光学系
No. US20190146198A1 は、反射屈折 AR/VR フックアップの学習が困難なシステムを指摘しており、多層の高透過率レンズ (ガラスまたはプラスチック製) で構成されていることを特徴としています。平凸ミラーと平凹ミラー 屈折特性と反射特性。折り返し光路設計を採用する目的は、頭部装着型光モジュールの薄型化である。
◎流体調整レンズ
#◎レンチキュラーディスプレイ
US20200103669A1、US20210072556A1、US11143865B1、US11187914B2、US20220035160A1、US20220146820A1およびその他の特許などの特許では、(円弧状に配置された)複数のシリンドリカルレンズ/マイクロレンズに基づくアレイ光学ソリューションについて言及されています。メリットはシングルに比べて、絞りレンズ より薄く、ヘッド ディスプレイのサイズを縮小するのに役立ち、大きな FOV を持ち、動的な視野角切り替えをサポートし、マルチカメラ アレイの VST 視点モジュールに適合します。
さらに、ルーバーフィルムを使用して表示画面の発光角度を制御してクロストークを低減したり、反射板を追加して遠近角を変更して遠近感のあるシーンを実現したりするなど、光学ソリューションの最適化方法が詳細に説明されています。 「視覚的にユーザーに近い」を使用して、シーンの深さ/距離をより正確に表示します。
◎多層幾何学位相レンズ ソリューション
特許番号 US20210048674A1 で、Apple は、3 次元の仮想と現実の融合画像を表示するための光学ソリューションを提案しました。その特徴は、多層レンズ構造を使用して異なる焦点面に異なるオブジェクトを表示し、それらを接続して没入型の画像を表示することです。 、立体シーンです。このソリューションを実装するには、人間の目の動的なズーム効果を適切にシミュレートするために、光学系、視線追跡、ソフトウェア アルゴリズムなどの要件に細心の注意を払う必要があります。
◎色が変わるレンズ
Appleは2019年の特許(US11029521B2)で、フォトクロミック層を重ねたARレンズソリューションを提案しており、強い紫外線の下で光の透過率を低下させることを特徴としており、屋外でAR画像をより見やすく表示します。一般的な色を変えるメガネと同様に、このメカニズムはフードを使用する一部の AR グラスを置き換えることができます。
◎分散補償光学ソリューション: No. US20200117003A1
このソリューションは、AR などの近眼光学系の光学効率と画質の向上を目的としています。格子媒体としてさまざまなホログラフィック材料を使用することが特徴です。各ホログラフィック材料は異なる格子ベクトル、周波数、方向を持っているため、色の違いをうまく解消できます。このソリューションは、偏光子や投影コンポーネントと組み合わせて光学ソリューションを形成できます。
#◎ マイクロ LED スクリーンの品質を向上させる # マイクロ LED スクリーンの製造品質をより適切に管理するために、Apple は特別なテスト装置とアーキテクチャを設計し、マイクロ OLED がパネルに接着される前に輝度基準を満たさない LED ピクセルを捕捉できると主張しました (たとえば、ディスプレイの光学スキャンを使用する場合など）、問題を発見した後、予備の LED を直接交換して、より効率的に修理できます。
マイクロLEDは比較的最先端のディスプレイ技術であり、携帯電話やスマートウォッチに使用されるほか、将来的にはAR/VRヘッドセットへの使用も期待されています。
#◎ 360° パースペクティブ
# Apple は、特許番号 US20210092292A1 で、8 台のカメラを搭載した AR/VR ヘッドマウント ディスプレイ ソリューションについて説明しており、その特徴は、ヘッドマウント ディスプレイの周囲 (フロント カバーとヘッドバンドを含む) をキャプチャして表示するために 8 台のカメラが配置されていることです。周囲の 360° 環境を通して、ユーザーの環境認識を強化し、死角でも見ることができるようになります。
◎メイン画面サブ画面デザイン
2021 年に公開された特許で、Apple はメイン画面とセカンダリ画面に基づいた AR メガネ ソリューションを設計しました。その特徴は、メイン画面とセカンダリ画面が独立して動作できることです。メイン画面の解像度が高く、表示に使用されます。メインの AR 機能、およびセカンダリ スクリーンは解像度が低く、主にカウントダウンやイベントなどのいくつかの単純なプロンプト情報を表示します。また、フレームの最も外側の端には LED インジケーターの円があり、エアタグが近くにあります。この設計の利点は、コンピューティング能力と消費電力を削減しながら、限られた画面領域をより合理的に使用できることです。
US11450297B1 の特許では、Apple は 1 つのメイン スクリーンと 2 つのセカンダリ スクリーンを備えた中心窩レンダリング スキームを設計しました。これら 3 つのスクリーン (柔軟なパネルまたは硬いパネルを使用可能) は、頭の曲線に合わせて円弧状に配置されています。画面の境界線を隠すために、Apple はレンズに拡散構造の独立した層を追加し、高解像度画面と低解像度画面の間の接続を最適化しました。 
2、視線追跡
アイトラッキング技術は、Apple の AR/VR 特許で繰り返し言及されている重要なポイントであり、その主な用途には、視線レンダリング、消費電力削減、ダイナミック フォーカシング、生物学的モニタリング、視覚検出、視線入力などが含まれます。さらに、この特許では、次のような視線追跡の実装と最適化についても詳細に説明されています。
- 近赤外線ソリューション (瞳孔拡張と注視点をキャプチャ可能);
- 指向性網膜閃光に基づくスキーム;
- 同軸照明方式 (特定のパルス帯域光源とイメージ センサーが同軸上にあり、より明るい瞳孔画像をキャプチャできるという利点があります);
- アイトラッキング遅延補正と効果の最適化。
◎ No. US20200019238A1: 人間の目のサッカードサッカードは一般的な現象で、通常は 1 秒あたり数サッカード (サッカード) 行われます。サッカードの短い期間では、視覚感度も短命になります。減少し、気づきにくい一時的な失明を引き起こします。この特性を利用することで、ユーザーに気付かれずに表示内容を調整することができ、消費電力の削減や画面の焼き付きのリスクを軽減します。
◎No. US20190339770A1: この特許は、ユーザーの注視点の変化に応じて画像の焦点を切り替えることができる、注視点追跡に基づく機械的ズーム AR/VR ソリューションについて説明しています。この特許では、ズームシステムの遅れを補うために、人間の目の動きの軌跡（眼球走査の着地点）を事前に予測し、画像をプリレンダリングできる注視点予測技術に焦点を当てています。フォーカスの切り替えをよりスムーズにします。
2018年、Appleは8K解像度(中央視覚領域)を実現できる中心窩レンダリング方式の特許を申請しました。 2019年には、2つの画面（高解像度のメイン画面と低解像度のセカンダリ画面）を使用することを特徴とする中心窩レンダリングソリューションに関するAppleの特許も公開されました（番号US20190172399A1、US20190180672A1）。 8K、画面の ppi は 1000 ～ 2000 の間です。
◎ No. US20190133440A1: は、利き目を特定することで視線追跡の精度と安定性を向上および最適化するソリューションを指摘しています。利き目は利き目とも呼ばれ、アイトラッキングでは利き目のデータの分析に重点を置くことで、眼球の光軸と視軸をより適切に合わせることができ、結果的により良いキャリブレーション結果をより速く得ることができます。
利き目を特定することのもう 1 つの利点は、ユーザーが斜視や弱視などの輻輳に関連する目の病気を診断し、これに基づいて注視点レンダリング テクノロジを最適化できることです。幅広い人々に対する視線追跡の適応性をさらに最適化するために、Apple は特許番号 US11644896B2 で、視線追跡システムがさまざまなユーザーの目の特徴を制御パラメータとして抽出し、これに基づいて注視点を動的に調整できると述べています。 。
◎ No. WO2020068447: Appleは、視線追跡に基づいてAR/VRアプリケーションを開く方法を提案しました。音声ゲームプレイの組み合わせが特徴です。ユーザーは対象のアプリケーションを見つめるだけで済みます。ロゴを表示して「開く」と言えば、アプリを開くことができ、コントロールは自然かつ高速です。 2021年に公開された別の特許では、Appleは注視点を使用してテキスト入力ボックスを素早く切り替えるソリューションも提案しており、VR内でフォームに記入したり個人情報をより速く入力できるようになります。
◎ No. US20200278539A1: 視線追跡ハードウェアの消費電力を節約するために、Apple は特許でイベントカメラベースのソリューションを設計しました。このソリューションは、目の動きが認識された場合にのみオンになることを特徴としています。連続的にスキャンするのではなく、スキャンを開始します。この特許のもう一つの特徴は、ユーザーの生体情報に基づいて光の強さを調整できることであり、ユーザーが異常な回数まばたきをしたり、子供のユーザーを認識したりすると、システムのアルゴリズムが光源の明るさを下げて視覚的な快適さを向上させます。 。
◎ No. US10354136B2: アイトラッキングの精度を向上させるには、ドリフトを減らすことが重要です。この特許の中で、Apple は視線追跡ドリフトを軽減できると主張する特別なレンズシステムを導入しています。このソリューションはレイ トレーシングに基づいており、人間の目に到達して反射された光のデータを識別することで眼球などをモデル化できます。
一部の視線追跡特許は、2017 年に Apple が買収した SMI (SensoMotoric) 社からもたらされており、US10437327B2 など、二次撮像によって注視点を捕捉するソリューションを提案しています。特徴は、最初の撮像で鮮明な眼球を捕捉することです。 2 番目のイメージングは瞳孔の位置を特定するために使用され、2 番目のイメージングは解像度が低く、明るい眼球を識別するために使用されます。2 つのキャプチャ データを結合すると、注視点予測データがより正確になります。
3、バイオセンサー
一部の特許で、Apple は AR/VR ヘッドセットにバイオセンサーを追加して、装着者の身体状態を感知し、それに応じて表示コンテンツを変更することを提案しました。詳細に関しては、ヘッドセットは強度、温度、湿度、変位、EEG、静電容量、EMG、心拍数などの情報を識別して心理的ストレスや個人の健康状態を評価し、AR/VR でリラックスするのに役立つアプリケーションやコンテンツを推奨できます。 、医療情報を積極的に促すこともできます。
Apple は 2019 年の特許で、AR/VR ヘッドセットやメガネに PPG (光電脈波計) や ECG (心電図)、GSR (皮膚電気信号)、圧力などのさまざまなバイオセンサーを搭載した顔追跡ソリューションについて説明しました。センサー、eField、温度センサーなど。このデバイスは、咀嚼、まばたき、鼻のしわなどのさまざまな複雑な顔の動きを分析することで、ユーザーの健康状態を検出できます。
4、インタラクティブテクノロジー
1、エアジェスチャー
Apple の 3D ジェスチャ テクノロジの一部は、2013 年に買収された PrimeSense から来ています。いくつかの関連特許から、発明者が元 PrimeSense 従業員であることがわかります。たとえば、ある特許では、ユーザーが掴む、押す、離すなどのジェスチャを使用して 3D ユーザー インターフェイスを操作し、ゲームやビデオを再生できるようにする 3D ジェスチャ ソリューションが紹介されています。
Air ジェスチャは、Apple の AR/VR 特許における共通かつ重要なテクノロジーであり、AR/VR ヘッドセットで使用できるだけでなく、iPhone、iPad、Mac、その他のデバイスでも実装できます。
Apple のエア ジェスチャ システムでは、構造化光、LiDAR、RGB、IR センサー、超音波トランスデューサー、VSWR センサーなど、さまざまなソリューションを使用できます。
たとえば、Apple は特許番号 US20210011289A1 で、Inside-Out ポジショニングをサポートする AR/VR ヘッドマウント ディスプレイ ソリューションについて説明しており、RGB カメラ、ToF センサー、IR LED モジュールを搭載し、ジェスチャーをサポートすることを特徴としています。トラッキングや 3D 環境レンジングなど、多くの機能を備えています。
2、体性感覚/スマート手袋
Apple は、AR/VR グローブに関する複数の特許を申請しています。これには、グローブの指先に磁気センサーを追加して磁場の変化や干渉を検出し、磁気源とセンサーの間の相対位置を特定するなど、さまざまな技術的ソリューションが含まれています。 .position を使用してジェスチャの位置決めを実現します。柔軟な力センサー アレイと光伝導材料を使用して、小さな触覚相互作用や握力の動的な変化を検出できます。
また、IMUポジショニングによるグローブソリューションも提案されており、グローブの指関節部分にIMUセンサーが内蔵されており、手間をかけずに手のひらや指の動きや位置を正確に検出できるのが特徴です。咬合などの要因によって、指を交差させる動きを識別できるようになります。
Apple は特許番号 US11397486B2 で、超音波を利用してジェスチャを認識する VR グローブも提案しており、ユーザーの手のひらにかかる圧力や指の太さを認識できるのが特徴です。
Apple は、ジェスチャの追跡に加えて、海、波、木、ビーチへの「接触」をシミュレートするための摩擦抵抗や柔軟なパッチなどの技術に基づいて、AR/VR グローブに体性感覚フィードバック (番号 US10481688B1、US20200257362A1) を提供したいと考えています。 、ステアリングホイールの質感。
Apple は 2020 年の別の特許で、布地素材をベースにした柔軟な身体感覚のグローブ ソリューションについて説明しており、その特徴は、布地の部分が異なる手の形を持つユーザーに合わせて伸縮できることです。
3、スマートブレスレット/ウォッチ
Apple は特許の中で、スマート ウォッチを使用して VR ゲームを制御するためのソリューションについて説明しています。これは皮膚センシングに基づいており、静脈画像を比較および分析することで手の関節の動きを推測できます。
US20210303068A1 などの特許で、Apple はカメラ CV、UWB、EMG、RF、センシング回路などを通じてスマート ウォッチ上の両手の接触動作を識別し、1 本の指で別の指をタッチできるようにするソリューションも提案しています。片手でスワイプして、カーソルの移動、ドラッグ、開く、またはその他のコマンドをシミュレートします。
実際、Apple Watch は 2021 年にジェスチャ認識機能 (AssistiveTouch) を開始しました。これにより、拳を作る、指をつまむなどの動きを認識でき、片手の微動でウォッチのインターフェイスを制御できるようになります。将来的には、この形式のインタラクションを AR/VR ヘッドセットと組み合わせて、自然なジェスチャ インタラクションを直接可能にする可能性があります。
4、スマートリング
現在、市場での AR/VR の主なインタラクション方法はハンドルであり、次にジェスチャーです。 Google、Meta、Apple などの企業は、AR/VR テクノロジーを制御するためにスマート リングの使用を研究しています。特にAppleのAR/VR関連特許(US20190004604A1、US10444834B2など)では、様々なデザインのスマートリングが紹介されることが多い。
例: U 字型指輪 (伸縮性のある柔軟な素材、サイズ調整可能)、指輪、指サック (5 本の指の動きを追跡)、またはファッショナブルなスパイラル、ヒンジ付きなどのデザイン。拡張可能な外観が特徴で、複数台での使用やApple Pencilなどの周辺機器との連携が可能です。
機能には、ワイヤレス設計、生地の光学的位置決め、および複数のセンサーが含まれます: タッチパッド、NFC 通信、バイオセンサー、SMI 圧力センサー、加速針、および皮膚接触/つまみ、タップおよびその他のマイクロジェスチャ インタラクションを認識できるその他のデバイス。 6DoF ポジショニングをサポートしており、環境温度、物理的な表面の形状や質感、さらには心拍数、血圧、血中酸素などの生体信号も識別できます。一部の特許では、スマートリングにデジタルノブやMacコンピュータのロック解除など、Apple Watchに近いスマート機能を搭載できることにも言及している。
5、スタイラスの操作
一部の特許では、Apple はスタイラス (Apple Pencil など) を使用して空間内に 3D オブジェクトを作成することを提案していますが、これは従来のタッチスクリーンベースのスタイラス ソリューションとは大きく異なります。
たとえば、US20180018057A1 という番号は、非電子的な表面入力に基づいたスタイラスの設計を示しており、その特徴は、スタイラスに位置決めセンサーが内蔵されており、どこに書かれた内容でも識別できることです。
2020 年の特許で、Apple は 6DoF 位置決めをサポートするスタイラスについて説明しました。これは、せん断力フィードバックをサポートすることを特徴としています。ユーザーは、ペンを持つときにシミュレートされた表面、体積、内部テクスチャなどを感じることができます。物理的な体性感覚特性。
Apple は別の特許で、Apple Pencil に圧力感知 (VR コントローラーのトリガー キーと同様) をもたらし、ユーザーが空間入力情報で Pencil を使用できるようにする単純なスタイラス アダプターも提案しました。さらに、スタイラスは、AR/VR でのタップ、スクロール、回転、フリック、スライドなどのゲーム (US20230042447A1) をプレイするためのコントローラーとしても使用できます。
6、仮想キーボード
No. US10237509B1: AR/VR ユーザーがテキストを迅速に入力できるようにするために、Apple は特許で仮想キーボードの設計を提案しました。コンセプトは、物理キーボードに仮想キーボードのレイヤーを重ねることです。カメラで直接見る場合と比較してください。キーを通して、仮想キーボードのビジョンがより鮮明に見えます。入力ハードウェアに関しては、このソリューションは物理キーボード、タブレット用のタッチスクリーン キーボード、およびジェスチャ トラッキング グローブと互換性があります。
No. US20200088999A1: この特許は、投影ベースの仮想キーボード ソリューションを想定しています。ヘッドセット上の投影デバイスが特徴で、デスクトップなどの物理的表面にキーボードを投影し、3D センサーを使用してキーボードを識別できます。ユーザー キーボードで入力する行為。この特許で言及されているヘッドセットは、ボタン、タッチセンサー、タッチディスプレイをケースに追加するなど、他の外部画面操作もサポートしており、ユーザーがヘッドセットを装着せずにすぐに使用できることは注目に値します。
別の特許 (US10890952B2) では、Apple も同様のインタラクティブな表面投影ソリューションについて言及しています。これは、ノートブックに電卓機能を重ねたり、腕にインタラクティブ UI をオーバーレイしたりするなど、あらゆる物理的な表面を操作可能なメニューに変えることを特徴としています。 。
5、VST の観点
一部の特許では、Apple の VST テクノロジの一部が、2017 年に買収した VRVANA 社から取得したパースペクティブ テクノロジであることがわかります。 VRVANA技術は光学レンズの画像歪みを補正するのが特徴で、VSTの視点遅延はわずか数ミリ秒です。 2019年に公開された特許（発明者の1人はVRVANA創設者のBertrand Nepvue氏）の中で、Appleは、リアルタイムクロマキーイングの原理に基づいたMRソリューションについて説明しており、これにより、現実のシーンの人々の背景を仮想の背景に置き換えることができます。グリーン スクリーンの置き換えと同様です。
さらに、Apple は、2019 年の別の特許 (US10330935B2) で、ヘッドセットに 2 つの高解像度および低解像度の視点カメラを装備できることを指摘しました。この設計では、VR の注視点レンダリング技術を使用して、視点解像度を下げています。ユーザーの周辺視野を向上させてコンピューティングタスクを最適化し、ハードウェアコストを削減します。
この特許はまた、AR/VR ヘッドセットが 2 組の RGB カメラを通じて周囲の 3 次元環境をキャプチャし、人間の視覚システムをシミュレートできると主張していることも指摘しています。
6、空間オーディオ
Apple はまた、HRTF (頭部伝達関数)、幾何学的音響学、その他のテクノロジーに基づくいくつかのソリューションや、リアルタイムの音線追跡による室内音場のシミュレーションなど、空間オーディオに関する多数の特許を申請しています。さらに、頭の位置情報に基づいて 2 チャンネルのオーディオを予測するソリューションも検討しました。これは、ユーザーの頭の動きに基づいてシミュレートされた音の距離と方向を動的に調整することを特徴としており、VR RPG ゲーム、ホラーゲームの体験を向上させます。映画やその他のコンテンツ。
US2022032965A1では、AirPodsの体の向きモードと同様に、胴体に対する頭の方向に基づいてユーザーの向きを特定するためのソリューションが説明されています。
Appleは2021年の特許で、AR/VRヘッドセットは複数のマイクアレイを装備でき、指向性音声検出をサポートし、周囲環境の音の発生源を計算して視覚的にマークやヒントを与えることができると指摘した。このような機能は人間の聴覚を十分に補完し、ユーザーが通常の知覚範囲を超えた音を識別するのに役立ちます（同様の概念で、ARを使用して、肉眼では見えないガスや電磁信号などをマークすることもできます）。
2023 年の特許 (US2023014111A1) では、空間フィルターを使用して、ユーザーの環境に応じてバイノーラル オーディオに空間キューを追加し、空間オーディオの実際の体験をより没入型にすることができることも指摘されています。
セブン、測位システム
◎超音波位置決め
現在、主流の VR ポジショニングは、赤外線、CV などの光学ソリューションに基づいています。 Appleは特許番号US20190094955A1で、飛行時間測距原理に基づく超音波測位ソリューションを提案し、センサーと壁、ターゲット、障害物との間の相対距離を測定し、周囲環境の3Dマップを生成できると主張している。コントローラー、ヘッドセットの位置を特定し、障害物を検出して表面を識別します。
◎ 3D測距/スキャニング
Apple は特許の中で、AR/VR ヘッドセットには構造化光センサー、両眼 3D 画像センサー モジュール (2 台以上のカメラで構成される)、LiDAR、3D 無線センサー、これらのセンサーは、空間の位置を特定したり、障害物を識別したりするために使用できます。
8、その他のセンサー
◎マルチセンサーアレイ
2021 年、USPTO は Apple の重要な AR/VR 特許 (US20210165229A1) を公開しました。この特許には、複数のカメラとセンサーを備えた分割型 AR/VR ヘッド ディスプレイが記載されています。どうしてそれが重要ですか？まず第一に、特許発明者は、HoloLens の共同発明者である Avi Bar-Zeev や Apple で 20 年以上働いている Geoff Stahl など、Apple の主要人物です。最近、ブルームバーグは、スタール氏が現在、アップルの AR/VR プロジェクトの主要アプリケーションである xrOS オペレーティング システムを担当していることを明らかにしました。
さらに、特許番号 US20210294104A1 では、Apple は AR/VR ヘッドセットにカメラ、視線追跡モジュール、ライダー、指紋認識モジュール、ジェスチャ認識モジュールなどのより多くのセンサーを搭載できることも想定しています。超音波センサー、光学式距離センサー、網膜走査センサー、温度センサー、筋電図、酸素センサー、心拍数センサー、血流センサー、抵抗センサー、ひずみゲージ、加速度センサー、磁気センサー、ポテンショメーターなど。
◎ホールセンサー (No.US10557724B1)
通常、AR/VR ヘッドセットは距離センサーを使用して装着状態を感知し、ユーザーがヘッドセットを装着していることを検出するとシステムがオンになり、ユーザーがヘッドセットを外したことを検出するとシステムが起動します。スタンバイ状態。ホールセンサーは距離センサーに比べて省電力であり、Appleはヘッドセットに複数のホールセンサーと磁気機構を使用し、デバイスの回転角度を検出して装着状態を判断したいと考えている。実際、Apple の Bluetooth ヘッドフォン AirPods にもホール センサーが使用されています。
9、外観デザイン
◎デジタルノブ
Apple は、複数の特許 (US20210089136A1 など) で、AR/VR ヘッドセットへのデジタル ノブ設計の適用について言及しています。実際、デジタル ノブは Apple 製品の古典的なインタラクション方法です。以前は Apple Watch や AirPods Max ヘッドフォンにも登場していました。AR/VR ヘッドセットで使用すると、音量や画面の明るさを調整したり、AR と VR の切り替えもできます。 VR：VRモード。
興味深いことに、Apple は特許番号 US20230162929A1 で、デジタル ノブがより複雑な操作 (複数の回転アクションを組み合わせて組み合わせ命令をトリガーし、より豊かなインタラクションを実現するなど) をサポートできると指摘しました。
◎ 柔軟でスマートなテキスタイル素材
現在、AR/VR は主に外装の布巻きを使用しており、導電性布の設計はまだ適用されていません。 Appleは、特許番号US20190191557A1で、溝付き導電ケーブルを内蔵し、アームバンドやARグラスなどのウェアラブルデバイスで使用できる、柔軟なスマートファブリックソリューションを提案しました。
#◎隠しカメラ
AR/VR ヘッドセットの重要な部品は光学センサーとカメラであり、主に環境のセンシング、位置決め、ジェスチャー認識に使用されます。 AR メガネを 24 時間着用していると、メガネ上のカメラやセンサーが長時間稼働しすぎて、周囲の人から不満を感じる可能性があります。 Appleは、カメラをより隠蔽しているように見せるために、特許(US20190353836A1)で、警察の取調室で一般的に使用されているマジックミラーと同様の赤外線透過マジックコーティングを提案した。赤外線を透過できるため (SLAM の位置決めには影響しません)、内部カメラは外部からは見えません。
◎ 筐体上の広いエリアのタッチコントロール
特許番号 US20210089150A1 で、Apple は大面積のタッチ対応 AR/VR ヘッドマウント ディスプレイのハウジング設計を提案しました。この設計は、柔軟な外部制御をサポートするセンサー、スライダー ボタン、ノブ、その他の操作方法を備えていることを特徴としています。 。
◎ARヘッドディスプレイボックス
Apple は、複数の特許でプラグイン AR/VR ヘッドマウント ディスプレイ ボックスの設計を提案しており、その特徴は、携帯電話をレンズ フレームに直接挿入して、ユーザーの目の前にコンテンツを表示できることです。テンプルにはAR/VRインターフェースを操作するためのタッチセンサーを装備することもできます。 2022 年の更新された特許 (US11258891B2) では、AR (VST モード)/VR モード切り替えのサポートという新機能も追加されました。
◎モジュール式ARグラス
2020年に公開された特許の中で、Appleは比較的高度なARグラス製品設計を考案しました。これは、レンズ、フレーム、その他の部品が高度にモジュール化されており、さまざまなニーズやシナリオに応じて交換および分解できることが特徴です。 、高解像度ディスプレイモジュール、長持ちするバッテリー、小型コンポーネントなどのさまざまなコンポーネントを交換します。注目すべき点は、AR メガネのフレームとテンプルには差し込み式のほぞ穴構造が採用されており、ユーザーは追加の工具を使わずに完全な AR メガネを自分で組み立てることができます。このゲームプレイは Apple Watch の交換可能なストラップのメカニズムに似ており、ユーザーは製品をカスタマイズできます。
◎設定可能かつ拡張可能な AR/VR オーディオ システム (No. US20200089008A1)
ヘッドフォンのイヤーマフは変形可能なフォーム素材でできており、膨らませたり収縮させたりして、ノイズリダクションモードと浸透モードを切り替えてオーディオモードを変更できます。 VRシーンではイマーシブオーディオ（ノイズリダクションモード）に素早く切り替えることができ、ARシーンでは骨伝導の原理で音を再生するオープンオーディオに切り替わります。
#◎ レンズ保護モード
#Apple のエンジニアは、2019 年 12 月に公開された特許で、落下の衝撃による AR グラスのレンズの飛散を防ぐ保護機構を構想しました。このソリューションは、AR メガネの状態をセンサーで検知し、メガネが自由落下して衝撃を受けると、光学系の保護モードが作動し、関連するレンズが移動し、空気または特殊な液体が充填されます。レンズ間にバッファを形成し、衝突による偶発的な損失を軽減します。アップルは、特許番号 US20210302745A1 で、落下や衝突などを認識した場合に、内部コンポーネントの位置ずれを自動的に検出し、自動的に位置補正を行って状況を修復する光モジュール自己検査システムも提案しています。価値。
興味深いことに、Apple は別の特許 (US11340466B2) で、衝撃を受けたときに緩衝材として機能し、光導波路などの光学モードを回避できる変形可能なテンプルを特徴とする弾性フレーム設計も提案しています。
◎ヘッドセットストラップの最適化
No. US20190072772A1: 通常、AR/VR ヘッドセットは装着前に頭の形に合わせてストラップを調整するなどの加工が必要となるため、携帯電話のように使用することはできません。複数の人が AR/VR ヘッドセットを共有する場合、全員がストラップを調整する必要があり、面倒な場合があります。
10、UXデザイン
#◎アクティブ冷却システムNo. US20190075689A1: 放熱効率を向上させるために、Quest 2 はファンを使用して積極的に熱を放散します。対照的に、Apple の特許に記載されているソリューションは通気性が良く、ヘッドセットの上下に 2 つのファンがあり、内部部品を冷却するための上下の対流を実現します。
さらに、ファン システムはレンダリング タスクに応じて強度を動的に調整でき、顔に風を当てて皮膚を冷やすこともできます。
2022 年の特許で、Apple はさらに、冷却システムの騒音を特定し、ファンの速度をリアルタイムで調整して騒音を低減し、ユーザーの迷惑や通話の発着信を避けることを特徴とするファン騒音制御システムを提案しました。 Siri音声アシスタント通信。興味深いことに、ファンの音量を上げて、周囲に障害物があることをユーザーに警告することもできます。
◎光学部品のセルフクリーニングAR/VR ヘッドセットは通常、精密な光学構造に基づいていることがわかっていますが、レンズとディスプレイ画面の間の隙間に塵や破片が入ると、光源の拡散が妨げられ、表示効果に影響を与える可能性があります。 。ただし、光学コンポーネントは通常、分解が難しく、手動で洗浄するのが困難です。そのため、Appleは2021年に公開された特許でセルフクリーニング光学ソリューションを指摘した。コンセプトは非常にシンプルである。主に光学品質を検出する。問題が発生すると、塵粒子を振り落として安全に除去する。携帯電話は終了した。ユーザーの視界から。
No. US20200081259A1: Apple は、モジュール式のヘッドマウント型顔面サポート システムを提案しました。これは、伸縮可能な材料、膨張可能な材料、および弾性ゴム材料の使用を特徴とし、さまざまな人々の顔に応じて調整できるという利点があります。構造（額、額など）、頬、こめかみ）の調整により、ヘッドセットの揺れなどによりマスクの位置がずれても、フィット感を調整して快適性を向上させます。
#◎クロスデバイス認証とロック解除
「Authentication Device Assisted User Authentication」(US10893412B2) と呼ばれる特許で、Apple は、ユーザーが AR/VR ヘッドセットを装着して iPhone のロックを直接解除できるようにする、複数のデバイスの近くにある認証ソリューションを指摘しました。これにより、繰り返し認証する必要がなくなります。ヘッドセットの着脱と電話のロック解除の手順。このクロスデバイス連携設計はApple Watchにも採用されており、iPhoneやMacコンピュータのロックを素早く解除できます。ロック解除機能のほか、ヘッドマウントディスプレイを利用して携帯電話などのデバイスをロックしたり、2段階認証の仕組みを設定したりすることもできます。
◎強化されたフュージョン表示
No. US10347050B1, Apple は、AR を使用して画像を歪めて表示効果を高めるソリューションを提案しました。その特徴は、AR を使用してユーザーの視覚的な盲点を特定し、見えなくすることで現実環境の視覚効果を変更することですコンテンツは、何らかの形式で表示されることもあります。このソリューションは視線追跡テクノロジーに基づいており、周囲のシーンをキャプチャするために 3D 深度認識を使用する必要があります。
Appleは、特許番号US20200081490A1で、AR/VRヘッドセットに適した電磁誘導充電スタンドを提案しており、ヘッドセットを直接掛けてディスプレイしたり、バッテリーを分離してスタンドに置いて充電したりできるのが特徴です。この設計の利点は、ヘッド ディスプレイの美しい保管と表示を実現でき、使用していないときにヘッド ディスプレイを充電できるため、いつでも持ち運んで使用できるのが便利です。
Apple は複数の特許で、AR/VR ヘッドセットをコンピュータ、ラップトップ、テレビとリンクするためのソリューションを提案しています。このコンセプトは、ヘッドセット内の他の周囲のデバイスの画面を迅速に同期できる既存の AirPlay 機能に似ています。 (ビデオの再生、ドキュメントのロード、電子メールなど)。
Appleは2020年の特許で、ミリ波基地局と複数の中継基地局を介して電子機器との大規模無線通信を実現することを特徴とするミリ波ベースの多人数対話ソリューションを提案した。コンテンツを複数の AR/VR ヘッドセットなどに送信できます。
一部の特許では、Apple は没入型映画鑑賞、AR ナビゲーション、AR ビデオ通話システムなど、AR/VR のさまざまなアプリケーション シナリオについて深く議論しています。
◎ARコール(特許第20160344972号) カメラのキャプチャと 3D モデルの生成に基づいて、没入型のリモート AR 通話を実現するために使用されます。このソリューションはiPadやApple TVなどのデバイスで利用でき、発信者や発信者が持つ物体を捉え、仮想的な形で映像上に提示できるのが特徴です。
また、RGB イメージ センサー、深度センサー、IR センサーなどを備えた外部カメラと組み合わせることで、空中ジェスチャーを認識し、メニュー制御を簡素化できます。
#◎仮想アシスタント
これは、ユーザーが AR/VR を使用するのを支援するためのプロンプト、ナビゲーション、および追加情報の表示用の文字または画像をコンピューターを使用して生成する、コンテキスト認識機能を特徴としています。視覚的な支援に加えて、仮想アシスタントは音声対話もサポートします。
◎ARナビゲーション
No. US20170213393A1: Apple の AR/VR ヘッドセットは、実際のシーンの建物や興味のある場所に関する追加情報をマークしたり、AR を使用して車内のスピーカーやその他の機能をマークしたりするなど、視覚的なナビゲーションをサポートする場合があります。さらに、ジェスチャーによる対話もサポートされています。この特許は Metaio の技術によるもので、Metaio は AR ナビゲーション ソリューションに加えて、AR 環境認識 (3D 環境キャプチャ、天気、時刻、座標などのデータ認識) に関する特許も申請しました。
2018 年の別の特許で、Apple は複数の角度から見ることができる 3D AR マップ ソリューションも提案しました。
◎ ARスポーツ中継
No. US20200175275A1: スポーツ ゲームのブロードキャストにインタラクティブな AR コンテンツを追加して、視聴体験を豊かにします。このソリューションの特徴は、外部デバイスを使用して視聴者の興味のあるポイントを検出し、それに基づいて追加情報を表示する必要があることです。たとえば、バスケットボール選手のシューズに興味がある場合、システムはそのシューズに関する情報を表示します。スニーカーのモデルをAR表示することもでき、さまざまな角度から見ることができます。
◎低遅延クロマキーイング
Zoom やその他のビデオ ソフトウェアはすでに背景置換機能をサポートしており、VST 複合現実ヘッドセットでは、目の前の人物やオブジェクトを実際の背景スタイルに置き換えたり、背景スタイルに置き換えたりするなど、背景置換もうまく適用できます。リアルタイムの仮想背景。 Apple の特許取得済みのソリューションは、より 3 次元的であり、2D 画像ではなく 3D 背景を表示できるという点で、通常の背景置換ソリューションとは異なります。
#◎コンピュータとの連携
Appleはいくつかの特許で、Macコンピュータで仮想スクリーンを使用してコンピュータ画面の表示領域を拡張したり、コンピュータ画面のコンテンツをヘッドセットに表示したりするなど、オフィスシナリオでのAR/VRの応用について言及しています。ユーザーのプライバシーを保護し、画面の覗き見を防止します。
◎AR/VRヘッドディスプレイに接続された携帯電話等(No.US20190065027A1)
では、タッチ パッド、タッチ ボタン、ディスプレイを備えた携帯電話などのデバイスを使用して、AR/VR ヘッドセットによって表示されるコンテンツを制御する、特定のスプリット タッチ インタラクション ソリューションについて説明します。言い換えれば、iPhone を AR/VR ヘッドセットのコントローラーとして使用することは、ジェスチャーやコントローラー以外のインタラクションの別の方法とみなされ、Apple のデバイス ファミリとうまく統合できます。
◎ 360°動画エンコード・デコード技術
特許番号 20190004414 は、複数のプリセット エンコード構成スキームと、イメージング効果に応じてフレームを挿入するかどうかを特徴とする適応型解像度と投影形式を指摘しており、これにより 360° ビデオと MR ビデオのレンダリング品質が向上します。
以上が何百もの AR/VR 特許を掘り起こし、Apple XR のあらゆる側面を探索してくださいの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。