座標系の変換を本当にマスターしましたか?自動運転と切り離せないマルチセンサーの問題

最初の紹介とキーポイント

この記事では主に、自動運転技術で一般的に使用されるいくつかの座標系と、それらがどのように完了するかを紹介します。関連と変換、そして最後に統合された環境モデルを構築します。ここでの焦点は、車両からカメラの剛体への変換 (外部パラメータ)、カメラから画像への変換 (内部パラメータ)、および画像からピクセル単位への変換を理解することです。 3D から 2D への変換には、対応する歪み、変換などが発生します。
ポイント：自車座標系カメラボディ座標系書き換える必要があるのは、平面座標系ピクセル座標系 難易度: 必須 画像の歪みを考慮して、画像平面上で歪み除去と歪みを補正します。

II はじめに

視覚システムには合計 4 つの座標系があります: ピクセル平面座標システム (u、v)、画像座標系 (x、y)、カメラ座標系 ()、および世界座標系 ()。各座標系の間には関連性があるため、画像のピクセル座標を通じて世界座標系の座標を特定する方法は、カメラのキャリブレーションを通じて解決する必要があります。重要なアルゴリズム部分は、

座標系変換にあります。そして、変換は 同次座標 の表現を通じて完了する必要があります。 3 つのセンサー座標系

3.1 カメラ座標系

カメラの機能は次のとおりです。色情報は 2 次元画像 に圧縮されます。カメラベースの

知覚アルゴリズム

は、車線、車両、歩行者などの 2 次元画像から 3 次元世界の要素と情報を抽出および復元し、それらの要素とそれ自体に対する相対位置を計算します。 知覚アルゴリズムとカメラに関係する座標系には画像座標系(ピクセル座標系)とカメラ座標系がありますが、書き換える必要があるのは平面座標系です 3.1.1 画像座標系 (またはピクセル座標系)

コンピュータに保存されている写真や画像の場合、通常は左上隅が原点となり、正の x 方向は右、y は下方向です。正の方向では、最も一般的に使用される単位は「ピクセル」です。画像座標系は、(Xv, Yv) とラベル付けされた 2 次元座標系です。

書き換える必要がある内容は次のとおりです。 3.1.2 カメラ座標系

画像座標系の x 軸は次のとおりです。 y 軸は右にあり、y 軸は右にあるため、カメラ座標系はレンズの主光軸の中心を原点とします。一般に、正の方向は x 軸の右方向、正の方向は y 軸の下方向、正の方向は z 軸の前方向です。このように、x 方向と y 方向は画像座標系の方向と一致し、z 方向は被写界深度を表します。カメラ座標系は (Xc, Yc)

書き換える必要があるものは次のとおりです。 3.1.3 書き換える必要があるのは次のとおりです: 平面座標系 (または撮像座標系) )

3 次元空間から 2 次元画像へのマッピング関係を 定量的に記述するために、書き換える必要があるものをグラフィックスで導入します: 平面座標系。これはカメラ座標系の平行移動です。中心は依然としてカメラの主光軸上にあります。光軸の中心からの距離は、カメラの焦点距離に等しいです。

カメラが光軸の中心より後ろにあることはわかっています。縮小された倒立像がフィルム上に現れます。これが実像面 (Xf、Yf) です。ただし、解析・計算の都合上、光軸中心よりも前に虚像面を設けます。仮想像面上の像は正立像であり、その大きさは実際の倒立像と同じです。書き換える必要があるのは平面座標系#です。

## 3.5 世界座標系

##特定の状況に応じて、カメラによって導入される任意のオブジェクトを表すことができます。単位はメートル

世界座標系

、カメラ座標系

、画像座標系

、ピクセルです。座標システム

4 つのライダー座標系ライダー (光検出および測距) は、レーザー ビームを使用して物体の距離を測定する リモート センシング テクノロジー

。 360 度回転して光線を放射し、異なるターゲットの反射率に基づいて電気雲を形成します。自動運転やロボット工学の分野では、周囲環境の 3D 情報を取得するためのメインセンサーとして LiDAR がよく使用されます。ほとんどの場合、LiDAR 座標系は右手系ですが、具体的な定義は LiDAR の製造元によって異なる場合があります。

4.1 定義

XX 軸 : 通常、LIDAR の前を指します。レーザー ビームが真正面に発射されると、その方向からの距離測定により X 軸に正の値が生成されます。 Y 軸 : 通常、LIDAR の左側を指します。レーザー ビームが左に直接発射されると、その方向からの距離測定値は Y 軸に正の値を生成します。 Z 軸 : 通常、LIDAR の上、X 軸と Y 軸に垂直な点を指します。高さの測定は通常 Z 軸に沿って行われ、正の値はオブジェクトが LiDAR デバイスより高いことを表し、負の値はオブジェクトが LiDAR デバイスより低いことを表します。

4.2 重要度

• 車載 LiDAR システムの 座標系は、車両座標系 と完全に一致していない可能性があります。と変換行列が必要なので、両者の間で座標変換を行います。
• データ注釈、マップ生成、オブジェクト検出などのタスクには、 Lidar 座標系の明確な定義が必要です。
• カメラなどの他のセンサーとの データ融合の場合、正しいデータの位置合わせと融合を実行するために、それぞれの座標系を知ることが重要です。
• カメラ、レーダー、またはその他のセンサーとのデータ融合を実行する場合、通常、Lidar とこれらのセンサーの間の外部キャリブレーション パラメーター (回転行列や平行移動行列など) を知る必要があります。それらの間の座標変換。

5 つの自車座標系

センサーとオブジェクトの位置を記述するための一般環境での基準座標系を選択します

、この座標系を世界座標系と呼びますが、自車座標系は一般的に車体後軸の中心を原点とします(後軸の中心は相対的に変化しないため)車の揺れに合わせて) 、左前上または右前 上部の空間座標系では、左(右)はほぼ水平、正面はほぼ垂直、上部は地上の空間を指します。座標系は車の動きに合わせて移動します。 感知して出力する必要があるすべての下流ターゲットは、独自の車両座標系の下にある必要があり、BEV 視点ターゲットもこの座標系の下で参照されます

## 一般に、3 次元空間座標系は、3 つの直交軸 X、Y、Z を使用してオブジェクトの 位置

を表し、その周りの回転角度を使用します。これら 3 つの

直交軸 (ロール角、ピッチ角、ヨー角) は、物体の 姿勢を表します。時間座標系には 1 つの次元しかありません。表現の便宜上、通常、空間座標と時間座標を分けて説明します。 6 台のカメラの内部パラメータと外部パラメータ

6.1 カメラの内部パラメータ

内部パラメータは、次のことを決定するために使用されます。カメラの三次元空間から二次元空間への変換 次元画像の投影関係。主に カメラのメインポイント、カメラの焦点距離、歪み係数

の 3 つのパラメータが含まれています。内部パラメータは通常販売業者によって与えられ、カメラのキャリブレーションも実行できます。自動運転アプリケーションでは、

カメラの内部パラメータは定数であり、使用中に変化しません が、使用前に調整する必要があります。カメラの撮影プロセスは、 3 次元カメラ座標系から 2 次元座標系、つまり平面座標系にマッピングし、さらに画像座標系にマッピングするプロセスに抽象化できます。 6.2 焦点距離 (f)

画像

センサーとカメラのレンズ

の間の距離を表します。 。通常、画像の x 軸と y 軸にそれぞれ対応する 2 つのパラメーター (
• ) と () で表されます。 多くの場合、(
) と仮定します。これは、ピクセルが両方向に正方形であることを意味します。
6.3 主点

これは画像内の点であり、通常は画像の中心近くにあります。これは、画像平面に投影されたときの 3D 空間内の点に対応する 2D 点です。

は通常、2 つのパラメータ (
• ) と (
• ) で表され、画像の x 軸と y 軸の座標に対応します。
6.4 歪み係数

実際のカメラのレンズには歪みが生じ、画像の歪みを引き起こす可能性があります。一般的な歪みには、半径方向の歪みと接線方向の歪みが含まれます。

一般的に使用される半径方向の歪み係数は (
• ) です。
• 接線方向の歪み係数は (
) です。
一般に、カメラの内部パラメータは行列で表すことができます:

#

この行列は通常、内部パラメータ行列またはカメラ行列と呼ばれます。

6.5 カメラ外部パラメータ

距離や奥行き情報の取得など、2 次元画像を通じて 3 次元カメラ座標系におけるオブジェクトの位置を推定します。 。 2 次元画像から 3 次元の距離情報を取得する . ワールド座標系でのオブジェクトの位置を取得する必要がある場合は、# の姿勢も知る必要があります。 ## ワールド座標系のカメラ。。この姿勢表現はカメラの外部パラメータと呼ばれ、カメラ座標とワールド座標系との相対的な位置関係を決定するために使用されます。自動運転アプリケーションでは、この位置関係を得るために一連のキャリブレーションと位置決め作業が必要になります。カメラは、他の座標系を基準にして行列を回転および平行移動します。回転の外部パラメータは、前述のオイラー角 [ヨー、パッチ、ロール] です。回転順序は一般に (z-y-x)、単位度です。平行移動の外部パラメータは、平行移動です。カメラからターゲット座標系までの距離、単位メートル

7 車両座標系と世界座標系

7.1 車両座標系

これは車両に固定された座標系です。

• 通常、X 軸は車両の前方を指し、Y 軸は車両の右側 (合意に応じて左側) を指し、Z 軸は車両の上を指します。 。
• この座標系の原点は、特定の用途や慣習に応じて、通常、車両の中心、車両の後車軸などの車両上の固定点に配置されます。

7.2 世界座標系

これは、物体や車両などの環境を記述するために使用される固定の世界座標系です。

• ワールド座標系の原点と方向は、通常、特定のアプリケーションまたはシナリオに基づいて選択されます。たとえば、マップ上の固定点やシーンの中心に配置できます。
• 世界座標系は、複数のエンティティに共通の参照フレームを提供し、エンティティ間の相対的な位置決めとナビゲーションを可能にします。

関係と変換:

- 車両は世界を移動するため、自車座標系と世界座標系の関係は時間となります。変化。 - これら 2 つの座標系間で変換するには、通常、変換行列または変換 (通常は回転と平行移動で構成されます) が必要です。この変換は、さまざまなセンサー (GPS、IMU、LiDAR など) およびアルゴリズム (SLAM など) を通じて取得できます。 - 変換は 4x4 の同次座標行列として表現できるため、ある座標系から別の座標系に変換できます。

自車座標系と世界座標系は多くの場合同じであり、この記事ではこのように理解しています。

8 つの座標系間の変換座標系の関係

8.1 ワールド座標系からカメラ座標系へ

オブジェクト間の座標系変換は、

回転変換の追加を表現できます。座標系のアップ平行移動変換

、ワールド座標系からカメラ座標系への変換関係も同様です。異なる軸の周りで異なる角度を回転すると、異なる回転行列が生成されます。 Z 軸を中心に θ を回転させる概略図:

##最後に、回転行列として簡単にまとめることができます。

翻訳: カメラ座標点 () をワールド座標点まで移動し、移動距離は () です。

8.2 カメラ座標系を次のように変換します。画像座標系

カメラ座標系から画像座標系へは透視投影関係に属し、3Dから2Dに変換されます。ピンホールモデルの変化モデルと見ることもできます。三角形の相似定理を満たします。

8.3 画像座標系からピクセル座標系への変換

この場合、前の座標系変換とは異なり、この変換はありません。回転変換は行いますが、座標原点の位置と大きさが一致しないため、伸縮変換と平行移動変換を設計する必要があります

8.4 4 つの座標系間の関係

##最終的な変換関係を見ると、次の 3 つが挙げられます。次元座標点は、画像内の対応するピクセル点を見つけることができます。しかし、逆に、画像内の点から 3 次元空間内の対応する点を見つけることは問題になります。なぜなら、方程式の左辺の値がわからないからです。 # #赤いボックスは外部パラメータ、R と T はそれぞれ回転量と平行移動量です。内部パラメータはカメラ固有の属性であり、実際には焦点距離 f とピクセル サイズ dx、dy です。

9 つのまとめ

自動運転のさまざまな座標系を整理し、それらの違いを示しました。自動運転の各種座標系の関係を求め、最終的にピクセル座標系とワールド座標系の変換関係を求めます。

元のリンク: https://mp.weixin.qq.com/s/tTRCjZBRZcnb59nX3FRR8w

以上が座標系の変換を本当にマスターしましたか?自動運転と切り離せないマルチセンサーの問題の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。