検索
ホームページテクノロジー周辺機器AIMicrosoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

(Nweon、2023 年 10 月 19 日) 飛行時間型 ToF カメラなどの深度センシング システムを使用して、HoloLens 2 の環境の深度画像を生成できます。深度画像の各ピクセルは環境内の対応する点を表します。距離。 ToF イメージングでは、環境内のイメージング面上の点の距離は、ToF カメラからの光がその点まで移動してから ToF カメラのセンサーに戻るまでの時間の長さに依存します。

位相ベースの ToF イメージングは​​、物体から反射された振幅変調光の位相シフトに基づいて深さが計算される ToF イメージングの一種です。位相データ取得間の ToF カメラの移動により、フレーム内位相データが相対的にシフトする可能性があります。例えば、第1のフレーム内位相データ取得において、ピクセルは、シーン内の位置で第1の変調周波数で位相データを感知することができる。次に、次のフレーム内の位相データ取得中に、ピクセルは、第 2 の変調周波数で異なるシーンの位置で位相データを検出できます。異なる周波数での位相データは不一致になり、これをモーション ブラーと呼ぶことができます。

そこでマイクロソフトは、「飛行時間型深度イメージングのための動き補正」というタイトルの特許出願で、ToF イメージングのための動き補正方法を提案しました。

これを行うために、第1の照明光変調周波数に対応するアクティブ輝度AB画像と第2の照明光変調周波数に対応するAB画像とを比較して、フレーム内二次元平行移動を決定する。フレーム内 2D 変換は、撮像されたシーンに対するカメラの推定された動きに対応します。

次に、フレーム内 2D 変換が位相データに適用され、位相画像の位置合わせと補正された位相データの形成に役立ちます。次に、補正された位相データに対して位相アンパッキングが実行され、フレーム内補正された3次元深度画像が得られる。フレーム内 2D 変換を使用して、フレーム内 AB 画像の動き補正を実行することもできます。例えば、フレーム内補正AB画像は、補正AB画像を平均することにより得ることができる。

このような例では、最初のフレームの最初の AB 画像が 2 番目のフレームの 2 番目の AB 画像と比較され、フレーム間の 2D 変換が決定されます。フレーム間変換は、フレーム間の動きの推定です。次に、フレーム間 2D 変換を最初のフレームの深度画像に適用して、フレーム間生成深度画像を形成できます。フレーム間の二次元平行移動は、フレーム内補正された AB 画像から決定できます。

さらに、カメラの動きの推定として、フレーム間の 2D 変換を出力し、さまざまな時間的後処理ルーチンやソフトウェア サービスで使用することができます。したがって、特許に記載されている実施形態は、2Dフレーム内AB画像データを使用して3D深度データの動きブラー補正を達成するのに役立つことができる。 2D データを使用することにより、動きブラー補正に 3D 深度データを使用する場合と比較して、比較的効率的な計算パフォーマンスでリアルタイムに動き補正を実行できます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

図 2 は、ToF カメラ 202 を含む例を示しています。このうち、ToFカメラは、位相ベースのToF深度イメージングシステム200である。 ToFカメラ202は、位相データを捕捉する光サンプルを取得するようにそれぞれ構成された複数のToFピクセル206を含むセンサーアレイ204、コントローラ208、および対物レンズシステム210を含む。

### コントローラ208は、センサアレイ204のToFピクセル206からデータを収集および処理して、深度画像を構築するように構成されている。コントローラ208は、ノイズ除去および/または位相アンラッピングを実行するための実行可能命令を含むことができる。

深度撮像システム200は、センサアレイ204を通る光の統合を制御するために、変調光エミッタ230と、センサアレイ204用のアナログおよび/またはデジタル変調電子シャッタ232の両方を含む。変調光エミッタ230は、ToFピクセル206によって検出可能な任意の周波数で電磁放射を放射するように構成され得る。

変調光は、連続的または同時に異なる周波数で変調することができ、センサーアレイ204は、変調光エミッタ230から表面220に反射されてカメラに戻る光をサンプリングするように構成される。センサアレイ204の各ToF感知ピクセル206は、異なる時間間隔で反射光信号を積分し、それによって位相シフトを決定するための1つまたは複数のピクセルタップを含み得る。

### 変調周波数ごとに、センサアレイ204は、光源からの振幅変調光の複数の位相角で光をサンプリングし、変調周波数の複数の光サンプルから各変調周波数の光を決定するように制御される。位相サンプル。次に、位相サンプルをアンラップして、各ピクセルの深度値を取得できます。

変調光の周期性により、測定される合計位相は 2π ごとに繰り返されます。 n(k) は位相ベースの ToF ピクセルでは直接測定できないため、合計位相、つまり測定に関連する実際の距離はあいまいです。したがって、位相ベースの ToF イメージングでは、測定できる距離 (ブレのない範囲) が変調周波数によって制限されます。

2 つ以上の異なる変調周波数を使用して曖昧さのない範囲を拡大し、収集された位相シフト データを分散して距離を正確に決定できます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

### 図3は、複数のK個の変調周波数に対する例示的なToF画像データ300を概略的に示す。データ300は、多周波数フレーム取得中に深度イメージングシステム200によって取得できるデータを表す。

図示の例では、深度データには、K 個の変調周波数のそれぞれに対するデータの M×N 配列が含まれており、その結果、フレーム内深度データ 302a ~ c​​ の M×N グリッドが得られます。各メッシュ、各ピクセル 304グリッド内の○は、K個の変調周波数のうち、対応する照明光変調周波数Kで得られた測定値を表す。

測定された位相は、ピクセルに関連付けられた深度値を計算するために使用されます。ただし、前述したように、位相ベースの ToF イメージングでは、測定できる距離 (ブレのない範囲) が変調周波数によって制限されます。したがって、K ≥ 2 の変調周波数 K のセットを使用して範囲を拡大することができ、位相情報を解明して距離を正確に決定できるようになります。

位相アンラッピングは、照明光の周波数ごとに距離の曖昧さが異なるため、異なる周波数の複数の振幅変調された光でシーンを照明することによって、位相シフト データの曖昧さを解消し、正しい距離値を特定する方法です。

ただし、前述したように、ToF 深度カメラが動いている場合、位相アンラップ エラーが発生する可能性があります。各周波数での深度データ取得は順次行われるため、1フレーム内では位相画像とAB画像が一旦分離される。

例えば、フレーム内位相画像306aは、フレームの先頭に向かって取得された第1の周波数f1の位相データを含むことができ、フレーム内位相画像306bは、フレームの中央に向かって取得された第2の周波数f2の位相データを含むことができる。・フレーム位相画像306bは、フレームの終わりに向かって取得された第3の周波数f3位相データを含むことができる。

したがって、ToF 深度カメラがフレーム内取得の間に移動すると、3 つの異なる周波数での位相データがシフトされ、位置がずれてしまう可能性があります。位相データが一貫していない場合、位相展開でエラーが発生する可能性があります。

そこでマイクロソフトは、AB 画像データを使用して動きを推定し、2 次元の平行移動を決定するソリューションを提案しました。

同社は、深度データを使用することは可能ですが、シーン内のオブジェクト間のアクティブな明るさの違いにより、AB 画像データに基づいて 2D 変換を決定する方がより堅牢になる可能性があると述べています。その後、2D 変換を使用して位相データに対してフレーム内動き補正を実行できます。フレーム内補正された位相データに対して位相アンラップを実行すると、モーション ブラーによるアンラップ エラーを回避するのに役立ちます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

図 4 は、位相アンラッピングの前に深度データに対してこのような補正を実行する方法の例を示しています。方法400は、ToF深度カメラからデータを受信するコンピューティングシステムにおいて実装され得る。

### 402において、多重周波数フレーム収集が実行され、複数のフレーム内位相サンプルがToF画像センサによって収集される。フレーム内位相サンプルは、複数の照明光変調周波数(f1、f2、f3)のそれぞれについて収集され、対応するフレーム内深度データ404a~cを形成する。この例では、時間矢印で示すように、最初にフレーム内奥行きデータ404aが取得され、2番目にフレーム内奥行きデータ404bが取得され、3番目にフレーム内奥行きデータ404cが取得される。

####406において、信号校正補正が実行されて、位相データ408およびアクティブ輝度データ410が取得される。上で述べたように、異なる周波数でのフレーム内深度データは、カメラの動きにより相対的にシフトされる可能性があります。したがって、方法400は、アクティブな輝度データ410を比較して、動きを推定し、補正する。

ここで、フレーム内AB画像410aはフレーム内AB画像410bと比較され、第1のフレーム内二次元平行移動412が決定される。 AB1 から AB2 への 2 次元の平行移動は、[Δu, Δv]1,2 として表すことができます。ここで、Δu は x 方向のピクセル変位、Δv は y 方向のピクセル変位です。イントラ2D変換412は、フレーム内深度データ404aとフレーム内深度データ404bの間の動きの推定である。

次に、イントラAB画像410aがイントラAB画像410cと比較され、[Δu,Δv]13として示される第2のフレーム内2D変換414が決定​​される。

### 一実施形態では、イントラAB画像410bをイントラAB画像410cと比較して、第3のフレーム内二次元平行移動を決定することができる。他の例では、任意の適切なフレーム内AB画像ペアを比較して、対応するフレーム内2D変換を決定することができる。 AB画像を比較し、変換を決定するために、任意の適切な方法を使用することができる。一例では、AB画像から特徴が抽出され、特徴マップが形成され、画像を比較するために使用される。

2D 平行移動を決定した後、決定された平行移動を使用して位相データを補正できます。図4に示される実施形態では、フレーム内二次元変換412が位相画像408bに適用されて位相画像を補正し、補正された位相画像420bを形成する。同様に、位相画像を補正するためにフレーム内二次元変換414が位相画像408cに対して実行され、補正された位相画像420cが形成される。

したがって、補正された位相データ420は、位相画像408aに対して「再調整」された位相データを表す。一例では、1つまたは複数の二次元平行移動を適用して、位相画像408bまたは408cと位置合わせされた補正位相画像を形成することができる。

####422において、方法400はまた、補正された位相データ420に対して位相アンラッピングを実行して深さ画像424を形成することを含む。補正された位相画像420b、420cは位相画像408aと再位置合わせできるため、422における位相アンラップは、動きブラー補正が無視される例よりも比較的少ないアンラップエラーを生成することができる。

####したがって、方法400は、深度画像424を形成するために深度データ404を処理する際に、より良いパフォーマンスを達成するのに役立つことができる。

さらに、フレーム内 2D 変換の適用は畳み込みを介して実行できるため、同様に畳み込みを利用する空間および時間フィルタリング プロセスと組み合わせることができます。同時に、カメラの動きの推定値として、決定されたフレーム内 2D 変換は、時間フィルター、軌道推定、動的領域推定、マッピングなどのさまざまな後処理アプリケーションに役立ちます。同様の技術を使用して、内部 AB 画像を補正し、内部補正された AB 画像を形成することができます。

### 図5を参照すると、方法500は、フレーム内二次元変換412、414を利用して、補正されたABデータ510を形成する。一例では、方法500は方法400と一緒に実行される。他の例では、方法500は方法400とは別に実行される。 Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています ### 図5に示すように、フレーム内二次元変換412をフレーム内AB画像410bに適用して画像を補正し、補正されたAB画像510bを形成する。さらに、フレーム内二次元変換414がAB画像410cに適用されて、補正されたAB画像510cが形成される。イントラAB画像408aとともに、補正されたAB画像510b〜cは、補正されたABデータ510を形成する。

### 518において、方法500は、補正されたABデータ510を平均して、フレーム内補正されたAB画像520を形成することをさらに含む。内部補正されたAB画像520は、さらなる処理のために出力され、および/またはディスプレイに出力され得る。

フレーム内補正された AB 画像は、フレーム間深度画像の生成にも使用できます。深度画像フレーム内のモーションブラーの補正に加えて、フレーム間でも補正を実行できます。

関連特許

: Microsoft 特許 | 飛行時間型深度イメージングのための動き補正

「飛行時間型深度イメージングのための動き補正」というタイトルの Microsoft 特許出願は、もともと 2022 年 3 月に提出され、最近米国特許商標庁によって公開されました。

以上がMicrosoft AR/VR 特許は、ToF イメージングの動き補正方法を共有していますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は搜狐で複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
Sumy Libraryによる自動テキスト要約Sumy Libraryによる自動テキスト要約Apr 18, 2025 am 09:37 AM

Sumy:AIを搭載した要約アシスタント 無限の文書をふるいにかけるのにうんざりしていませんか? 強力なPythonライブラリであるSumyは、自動テキストの要約のための合理化されたソリューションを提供します。 この記事では、Sumyの能力を調べて、あなたを導きます

SQLケースステートメント:基本から高度な手法までSQLケースステートメント:基本から高度な手法までApr 18, 2025 am 09:31 AM

データの課題:正確な洞察のためのSQLのケースステートメントのマスター あなたがデータ愛好家を持っているとき、誰が弁護士を必要としますか? データアナリスト、科学者、および膨大なデータの世界の全員が独自の複雑な課題に直面し、システム機能FLAを確保する

迅速なエンジニアリングにおける知識の連鎖の力とは何ですか?迅速なエンジニアリングにおける知識の連鎖の力とは何ですか?Apr 18, 2025 am 09:30 AM

AIの知識チェーンの力を活用:迅速なエンジニアリングに深く潜る 人工知能(AI)はあなたの質問を理解するだけでなく、洞察に満ちた答えを提供するために膨大な量の知識を織り込むことができることを知っていますか?

AIはワークライフバランスを達成するのに役立ちますか? - 分析VidhyaAIはワークライフバランスを達成するのに役立ちますか? - 分析VidhyaApr 18, 2025 am 09:27 AM

導入 Joanna Maciejewskaは最近、Xに関する洞察に満ちた観察を共有しました。 AIプッシュの最大の課題は? それは誤った方向です。 AIに洗濯と料理を扱ってもらいたいので、アートとライティングに集中できるようにしてください。 - ジョアンナ・マ

Llama 3.1を使用したツールコールのガイドLlama 3.1を使用したツールコールのガイドApr 18, 2025 am 09:26 AM

Meta'sLlama3.1:オープンソースLLM機能に深く飛び込む メタは、オープンソースの大手言語モデル(LLMS)で引き続き充電をリードしています。 LlamaからLlama 2、Llama 3、および現在のLlama 3.1に進化するLlamaファミリーは、へのコミットメントを示しています

SPCチャートとは何ですか? - 分析VidhyaSPCチャートとは何ですか? - 分析VidhyaApr 18, 2025 am 09:24 AM

導入 統計プロセス制御(SPC)チャートは、品質管理に不可欠なツールであり、組織がプロセスを監視、制御、改善できるようにします。 統計的方法を適用することにより、SPCチャートはデータのバリエーションを視覚的に表します

トップ30 MySQLインタビューの質問 -  Analytics Vidhyaトップ30 MySQLインタビューの質問 - Analytics VidhyaApr 18, 2025 am 09:23 AM

このガイドは、初心者、中級、高度なレベルにまたがる30の質問をカバーすることにより、MySQLインタビューに備えています。 データ管理と分析の重要なツールであるMySQLは、理論的概念と実用的なクエリの例を通じて検討されています

非リレーショナルデータベースとリレーショナルデータベース非リレーショナルデータベースとリレーショナルデータベースApr 18, 2025 am 09:22 AM

適切なデータベースの選択:リレーショナルと非関係 賑やかなカフェを管理することを想像してください:無数の注文、在庫レベルの変動、および要求の厳しい顧客を想像してください。 効率的なツールは成功に不可欠です。 同様に、大規模なデータセットを処理するにはcが必要です

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

AI Hentai Generator

AI Hentai Generator

AIヘンタイを無料で生成します。

ホットツール

メモ帳++7.3.1

メモ帳++7.3.1

使いやすく無料のコードエディター

ゼンドスタジオ 13.0.1

ゼンドスタジオ 13.0.1

強力な PHP 統合開発環境

SecLists

SecLists

SecLists は、セキュリティ テスターの究極の相棒です。これは、セキュリティ評価中に頻繁に使用されるさまざまな種類のリストを 1 か所にまとめたものです。 SecLists は、セキュリティ テスターが必要とする可能性のあるすべてのリストを便利に提供することで、セキュリティ テストをより効率的かつ生産的にするのに役立ちます。リストの種類には、ユーザー名、パスワード、URL、ファジング ペイロード、機密データ パターン、Web シェルなどが含まれます。テスターはこのリポジトリを新しいテスト マシンにプルするだけで、必要なあらゆる種類のリストにアクセスできるようになります。

ドリームウィーバー CS6

ドリームウィーバー CS6

ビジュアル Web 開発ツール

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強力な PHP 統合開発環境