検索
ホームページテクノロジー周辺機器AIMicrosoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

(Nweon、2023 年 10 月 19 日) 飛行時間型 ToF カメラなどの深度センシング システムを使用して、HoloLens 2 の環境の深度画像を生成できます。深度画像の各ピクセルは環境内の対応する点を表します。距離。 ToF イメージングでは、環境内のイメージング面上の点の距離は、ToF カメラからの光がその点まで移動してから ToF カメラのセンサーに戻るまでの時間の長さに依存します。

位相ベースの ToF イメージングは​​、物体から反射された振幅変調光の位相シフトに基づいて深さが計算される ToF イメージングの一種です。位相データ取得間の ToF カメラの移動により、フレーム内位相データが相対的にシフトする可能性があります。例えば、第1のフレーム内位相データ取得において、ピクセルは、シーン内の位置で第1の変調周波数で位相データを感知することができる。次に、次のフレーム内の位相データ取得中に、ピクセルは、第 2 の変調周波数で異なるシーンの位置で位相データを検出できます。異なる周波数での位相データは不一致になり、これをモーション ブラーと呼ぶことができます。

そこでマイクロソフトは、「飛行時間型深度イメージングのための動き補正」というタイトルの特許出願で、ToF イメージングのための動き補正方法を提案しました。

これを行うために、第1の照明光変調周波数に対応するアクティブ輝度AB画像と第2の照明光変調周波数に対応するAB画像とを比較して、フレーム内二次元平行移動を決定する。フレーム内 2D 変換は、撮像されたシーンに対するカメラの推定された動きに対応します。

次に、フレーム内 2D 変換が位相データに適用され、位相画像の位置合わせと補正された位相データの形成に役立ちます。次に、補正された位相データに対して位相アンパッキングが実行され、フレーム内補正された3次元深度画像が得られる。フレーム内 2D 変換を使用して、フレーム内 AB 画像の動き補正を実行することもできます。例えば、フレーム内補正AB画像は、補正AB画像を平均することにより得ることができる。

このような例では、最初のフレームの最初の AB 画像が 2 番目のフレームの 2 番目の AB 画像と比較され、フレーム間の 2D 変換が決定されます。フレーム間変換は、フレーム間の動きの推定です。次に、フレーム間 2D 変換を最初のフレームの深度画像に適用して、フレーム間生成深度画像を形成できます。フレーム間の二次元平行移動は、フレーム内補正された AB 画像から決定できます。

さらに、カメラの動きの推定として、フレーム間の 2D 変換を出力し、さまざまな時間的後処理ルーチンやソフトウェア サービスで使用することができます。したがって、特許に記載されている実施形態は、2Dフレーム内AB画像データを使用して3D深度データの動きブラー補正を達成するのに役立つことができる。 2D データを使用することにより、動きブラー補正に 3D 深度データを使用する場合と比較して、比較的効率的な計算パフォーマンスでリアルタイムに動き補正を実行できます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

図 2 は、ToF カメラ 202 を含む例を示しています。このうち、ToFカメラは、位相ベースのToF深度イメージングシステム200である。 ToFカメラ202は、位相データを捕捉する光サンプルを取得するようにそれぞれ構成された複数のToFピクセル206を含むセンサーアレイ204、コントローラ208、および対物レンズシステム210を含む。

### コントローラ208は、センサアレイ204のToFピクセル206からデータを収集および処理して、深度画像を構築するように構成されている。コントローラ208は、ノイズ除去および/または位相アンラッピングを実行するための実行可能命令を含むことができる。

深度撮像システム200は、センサアレイ204を通る光の統合を制御するために、変調光エミッタ230と、センサアレイ204用のアナログおよび/またはデジタル変調電子シャッタ232の両方を含む。変調光エミッタ230は、ToFピクセル206によって検出可能な任意の周波数で電磁放射を放射するように構成され得る。

変調光は、連続的または同時に異なる周波数で変調することができ、センサーアレイ204は、変調光エミッタ230から表面220に反射されてカメラに戻る光をサンプリングするように構成される。センサアレイ204の各ToF感知ピクセル206は、異なる時間間隔で反射光信号を積分し、それによって位相シフトを決定するための1つまたは複数のピクセルタップを含み得る。

### 変調周波数ごとに、センサアレイ204は、光源からの振幅変調光の複数の位相角で光をサンプリングし、変調周波数の複数の光サンプルから各変調周波数の光を決定するように制御される。位相サンプル。次に、位相サンプルをアンラップして、各ピクセルの深度値を取得できます。

変調光の周期性により、測定される合計位相は 2π ごとに繰り返されます。 n(k) は位相ベースの ToF ピクセルでは直接測定できないため、合計位相、つまり測定に関連する実際の距離はあいまいです。したがって、位相ベースの ToF イメージングでは、測定できる距離 (ブレのない範囲) が変調周波数によって制限されます。

2 つ以上の異なる変調周波数を使用して曖昧さのない範囲を拡大し、収集された位相シフト データを分散して距離を正確に決定できます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

### 図3は、複数のK個の変調周波数に対する例示的なToF画像データ300を概略的に示す。データ300は、多周波数フレーム取得中に深度イメージングシステム200によって取得できるデータを表す。

図示の例では、深度データには、K 個の変調周波数のそれぞれに対するデータの M×N 配列が含まれており、その結果、フレーム内深度データ 302a ~ c​​ の M×N グリッドが得られます。各メッシュ、各ピクセル 304グリッド内の○は、K個の変調周波数のうち、対応する照明光変調周波数Kで得られた測定値を表す。

測定された位相は、ピクセルに関連付けられた深度値を計算するために使用されます。ただし、前述したように、位相ベースの ToF イメージングでは、測定できる距離 (ブレのない範囲) が変調周波数によって制限されます。したがって、K ≥ 2 の変調周波数 K のセットを使用して範囲を拡大することができ、位相情報を解明して距離を正確に決定できるようになります。

位相アンラッピングは、照明光の周波数ごとに距離の曖昧さが異なるため、異なる周波数の複数の振幅変調された光でシーンを照明することによって、位相シフト データの曖昧さを解消し、正しい距離値を特定する方法です。

ただし、前述したように、ToF 深度カメラが動いている場合、位相アンラップ エラーが発生する可能性があります。各周波数での深度データ取得は順次行われるため、1フレーム内では位相画像とAB画像が一旦分離される。

例えば、フレーム内位相画像306aは、フレームの先頭に向かって取得された第1の周波数f1の位相データを含むことができ、フレーム内位相画像306bは、フレームの中央に向かって取得された第2の周波数f2の位相データを含むことができる。・フレーム位相画像306bは、フレームの終わりに向かって取得された第3の周波数f3位相データを含むことができる。

したがって、ToF 深度カメラがフレーム内取得の間に移動すると、3 つの異なる周波数での位相データがシフトされ、位置がずれてしまう可能性があります。位相データが一貫していない場合、位相展開でエラーが発生する可能性があります。

そこでマイクロソフトは、AB 画像データを使用して動きを推定し、2 次元の平行移動を決定するソリューションを提案しました。

同社は、深度データを使用することは可能ですが、シーン内のオブジェクト間のアクティブな明るさの違いにより、AB 画像データに基づいて 2D 変換を決定する方がより堅牢になる可能性があると述べています。その後、2D 変換を使用して位相データに対してフレーム内動き補正を実行できます。フレーム内補正された位相データに対して位相アンラップを実行すると、モーション ブラーによるアンラップ エラーを回避するのに役立ちます。

Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています

図 4 は、位相アンラッピングの前に深度データに対してこのような補正を実行する方法の例を示しています。方法400は、ToF深度カメラからデータを受信するコンピューティングシステムにおいて実装され得る。

### 402において、多重周波数フレーム収集が実行され、複数のフレーム内位相サンプルがToF画像センサによって収集される。フレーム内位相サンプルは、複数の照明光変調周波数(f1、f2、f3)のそれぞれについて収集され、対応するフレーム内深度データ404a~cを形成する。この例では、時間矢印で示すように、最初にフレーム内奥行きデータ404aが取得され、2番目にフレーム内奥行きデータ404bが取得され、3番目にフレーム内奥行きデータ404cが取得される。

####406において、信号校正補正が実行されて、位相データ408およびアクティブ輝度データ410が取得される。上で述べたように、異なる周波数でのフレーム内深度データは、カメラの動きにより相対的にシフトされる可能性があります。したがって、方法400は、アクティブな輝度データ410を比較して、動きを推定し、補正する。

ここで、フレーム内AB画像410aはフレーム内AB画像410bと比較され、第1のフレーム内二次元平行移動412が決定される。 AB1 から AB2 への 2 次元の平行移動は、[Δu, Δv]1,2 として表すことができます。ここで、Δu は x 方向のピクセル変位、Δv は y 方向のピクセル変位です。イントラ2D変換412は、フレーム内深度データ404aとフレーム内深度データ404bの間の動きの推定である。

次に、イントラAB画像410aがイントラAB画像410cと比較され、[Δu,Δv]13として示される第2のフレーム内2D変換414が決定​​される。

### 一実施形態では、イントラAB画像410bをイントラAB画像410cと比較して、第3のフレーム内二次元平行移動を決定することができる。他の例では、任意の適切なフレーム内AB画像ペアを比較して、対応するフレーム内2D変換を決定することができる。 AB画像を比較し、変換を決定するために、任意の適切な方法を使用することができる。一例では、AB画像から特徴が抽出され、特徴マップが形成され、画像を比較するために使用される。

2D 平行移動を決定した後、決定された平行移動を使用して位相データを補正できます。図4に示される実施形態では、フレーム内二次元変換412が位相画像408bに適用されて位相画像を補正し、補正された位相画像420bを形成する。同様に、位相画像を補正するためにフレーム内二次元変換414が位相画像408cに対して実行され、補正された位相画像420cが形成される。

したがって、補正された位相データ420は、位相画像408aに対して「再調整」された位相データを表す。一例では、1つまたは複数の二次元平行移動を適用して、位相画像408bまたは408cと位置合わせされた補正位相画像を形成することができる。

####422において、方法400はまた、補正された位相データ420に対して位相アンラッピングを実行して深さ画像424を形成することを含む。補正された位相画像420b、420cは位相画像408aと再位置合わせできるため、422における位相アンラップは、動きブラー補正が無視される例よりも比較的少ないアンラップエラーを生成することができる。

####したがって、方法400は、深度画像424を形成するために深度データ404を処理する際に、より良いパフォーマンスを達成するのに役立つことができる。

さらに、フレーム内 2D 変換の適用は畳み込みを介して実行できるため、同様に畳み込みを利用する空間および時間フィルタリング プロセスと組み合わせることができます。同時に、カメラの動きの推定値として、決定されたフレーム内 2D 変換は、時間フィルター、軌道推定、動的領域推定、マッピングなどのさまざまな後処理アプリケーションに役立ちます。同様の技術を使用して、内部 AB 画像を補正し、内部補正された AB 画像を形成することができます。

### 図5を参照すると、方法500は、フレーム内二次元変換412、414を利用して、補正されたABデータ510を形成する。一例では、方法500は方法400と一緒に実行される。他の例では、方法500は方法400とは別に実行される。 Microsoft AR/VR 特許は、ToF イメージングの動き補正方法を共有しています ### 図5に示すように、フレーム内二次元変換412をフレーム内AB画像410bに適用して画像を補正し、補正されたAB画像510bを形成する。さらに、フレーム内二次元変換414がAB画像410cに適用されて、補正されたAB画像510cが形成される。イントラAB画像408aとともに、補正されたAB画像510b〜cは、補正されたABデータ510を形成する。

### 518において、方法500は、補正されたABデータ510を平均して、フレーム内補正されたAB画像520を形成することをさらに含む。内部補正されたAB画像520は、さらなる処理のために出力され、および/またはディスプレイに出力され得る。

フレーム内補正された AB 画像は、フレーム間深度画像の生成にも使用できます。深度画像フレーム内のモーションブラーの補正に加えて、フレーム間でも補正を実行できます。

関連特許

: Microsoft 特許 | 飛行時間型深度イメージングのための動き補正

「飛行時間型深度イメージングのための動き補正」というタイトルの Microsoft 特許出願は、もともと 2022 年 3 月に提出され、最近米国特許商標庁によって公開されました。

以上がMicrosoft AR/VR 特許は、ToF イメージングの動き補正方法を共有していますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明
この記事は搜狐で複製されています。侵害がある場合は、admin@php.cn までご連絡ください。
AI内部展開の隠された危険:ガバナンスのギャップと壊滅的なリスクAI内部展開の隠された危険:ガバナンスのギャップと壊滅的なリスクApr 28, 2025 am 11:12 AM

Apollo Researchの新しいレポートによると、高度なAIシステムの未確認の内部展開は、重大なリスクをもたらします。 主要なAI企業の間で一般的なこの監視の欠如は、Uncontに及ぶ潜在的な壊滅的な結果を可能にします

AIポリグラフの構築AIポリグラフの構築Apr 28, 2025 am 11:11 AM

従来の嘘検出器は時代遅れです。リストバンドで接続されたポインターに依存すると、被験者のバイタルサインと身体的反応を印刷する嘘発見器は、嘘を識別するのに正確ではありません。これが、嘘の検出結果が通常裁判所で採用されない理由ですが、多くの罪のない人々が投獄されています。 対照的に、人工知能は強力なデータエンジンであり、その実用的な原則はすべての側面を観察することです。これは、科学者がさまざまな方法で真実を求めるアプリケーションに人工知能を適用できることを意味します。 1つのアプローチは、嘘発見器のように尋問されている人の重要な符号応答を分析することですが、より詳細かつ正確な比較分析を行います。 別のアプローチは、言語マークアップを使用して、人々が実際に言うことを分析し、論理と推論を使用することです。 ことわざにあるように、ある嘘は別の嘘を繁殖させ、最終的に

AIは航空宇宙産業の離陸のためにクリアされていますか?AIは航空宇宙産業の離陸のためにクリアされていますか?Apr 28, 2025 am 11:10 AM

イノベーションの先駆者である航空宇宙産業は、AIを活用して、最も複雑な課題に取り組んでいます。 近代的な航空の複雑さの増加は、AIの自動化とリアルタイムのインテリジェンス機能を必要とします。

北京の春のロボットレースを見ています北京の春のロボットレースを見ていますApr 28, 2025 am 11:09 AM

ロボット工学の急速な発展により、私たちは魅力的なケーススタディをもたらしました。 NoetixのN2ロボットの重量は40ポンドを超えており、高さは3フィートで、逆流できると言われています。 UnitreeのG1ロボットの重量は、N2のサイズの約2倍で、高さは約4フィートです。また、競争に参加している多くの小さなヒューマノイドロボットがあり、ファンによって前進するロボットさえあります。 データ解釈 ハーフマラソンは12,000人以上の観客を惹きつけましたが、21人のヒューマノイドロボットのみが参加しました。政府は、参加しているロボットが競争前に「集中トレーニング」を実施したと指摘したが、すべてのロボットが競争全体を完了したわけではない。 チャンピオン - 北京ヒューマノイドロボットイノベーションセンターによって開発されたティアンゴニ

ミラートラップ:AI倫理と人間の想像力の崩壊ミラートラップ:AI倫理と人間の想像力の崩壊Apr 28, 2025 am 11:08 AM

人工知能は、現在の形式では、真にインテリジェントではありません。既存のデータを模倣して洗練するのに熟達しています。 私たちは人工知能を作成するのではなく、人工的な推論を作成しています。情報を処理するマシン、人間は

新しいGoogleリークは、便利なGoogle写真機能の更新を明らかにします新しいGoogleリークは、便利なGoogle写真機能の更新を明らかにしますApr 28, 2025 am 11:07 AM

レポートでは、更新されたインターフェイスがGoogle Photos Androidバージョン7.26のコードに隠されていることがわかり、写真を見るたびに、新しく検出された顔のサムネイルの行が画面の下部に表示されます。 新しいフェイシャルサムネイルには名前タグが欠落しているため、検出された各人に関する詳細情報を見るには、個別にクリックする必要があると思います。今のところ、この機能は、Googleフォトが画像で見つけた人々以外の情報を提供しません。 この機能はまだ利用できないため、Googleが正確にどのように使用するかはわかりません。 Googleはサムネイルを使用して、選択した人のより多くの写真を見つけるためにスピードアップしたり、編集して個人を選択するなど、他の目的に使用することもできます。待って見てみましょう。 今のところ

補強能力のガイド - 分析Vidhya補強能力のガイド - 分析VidhyaApr 28, 2025 am 09:30 AM

補強能力は、人間のフィードバックに基づいて調整するためにモデルを教えることにより、AI開発を揺さぶりました。それは、監督された学習基盤と報酬ベースの更新をブレンドして、より安全で、より正確に、そして本当に助けます

踊りましょう:私たちの人間のニューラルネットを微調整するための構造化された動き踊りましょう:私たちの人間のニューラルネットを微調整するための構造化された動きApr 27, 2025 am 11:09 AM

科学者は、彼らの機能を理解するために、人間とより単純なニューラルネットワーク(C. elegansのものと同様)を広く研究してきました。 ただし、重要な疑問が生じます。新しいAIと一緒に効果的に作業するために独自のニューラルネットワークをどのように適応させるのか

See all articles

ホットAIツール

Undresser.AI Undress

Undresser.AI Undress

リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover

AI Clothes Remover

写真から衣服を削除するオンライン AI ツール。

Undress AI Tool

Undress AI Tool

脱衣画像を無料で

Clothoff.io

Clothoff.io

AI衣類リムーバー

Video Face Swap

Video Face Swap

完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

ホットツール

SublimeText3 Mac版

SublimeText3 Mac版

神レベルのコード編集ソフト(SublimeText3)

mPDF

mPDF

mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

DVWA

DVWA

Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

SAP NetWeaver Server Adapter for Eclipse

SAP NetWeaver Server Adapter for Eclipse

Eclipse を SAP NetWeaver アプリケーション サーバーと統合します。

VSCode Windows 64 ビットのダウンロード

VSCode Windows 64 ビットのダウンロード

Microsoft によって発売された無料で強力な IDE エディター