スマートカー認識フロントエンド処理の難しさに関する画像歪み補正技術の簡単な分析

画像を撮影するとき、元の幾何学的比率に従って画像を確実に再現できるように、カメラの理想的な位置は撮影面に対して垂直であることがわかっています。しかし、スマートドライビングカーの実際の応用では、スマート車体構造の制限により、車体制御にはカメラに一定のプレビュー距離が必要であり、通常、カメラの水平走査面と垂直走査面は扇形に広がりますが、通常、カメラは地面に接触しますので、斜めに設置してください。この角度が存在すると、画像の端に特定の画像歪みが発生します。歪みの結果、画像後の処理中に次のような一連の同様の問題が発生します:

1) 垂直線が斜めの線として撮影され、傾き計算エラーが発生します。

##2) 遠方のカーブが歪みにより圧縮され、曲率計算誤差などが生じる可能性があります;

3) 側車線の車両状況については、重大な問題が発生します。認識処理中に問題が発生する 歪みがあると後処理中に不一致の問題が発生する;

上記のようなさまざまな問題が画像認識全体に存在する可能性があります。画像全体に影響を与えるため、画像品質とその後のニューラル ネットワーク認識により大きなリスクが生じます。スマートカーのリアルタイム制御要件を満たすためには、一般に、実際のアプリケーションシナリオにおけるカメラ画像の歪みに対応する補正アルゴリズムを提案する必要があります。

01 スマート カーの主な歪みの種類

カメラの歪みには、半径方向の歪み、接線方向の歪み、遠心方向の歪み、薄型プリズムなどがあります。スマートカーのカメラの歪みには、主に半径方向の歪みと接線方向の歪みが含まれます。

ラジアル歪みは、樽型歪みと糸巻き型歪みに分類されます。

通常、スマート パーキング システムで使用されるサラウンドビュー カメラは広角撮影を使用し、それに対応する歪みタイプは通常、放射状歪みです。放射状歪みの主な原因は、レンズの半径方向の曲率が不規則に変化することで像が歪み、主点が中心で半径方向に移動するという特徴があります。遠ざかるほど変形量は大きくなります。長方形の深刻な放射状歪みは、バックエンド処理プロセスに入る前に、理想的な線形レンズ イメージに補正する必要があります。

一般的に駆動系に使用されるフロントビューカメラ、サイドビューカメラ、リアビューカメラは一般的なCMOSプロセスカメラを使用して撮影しているため、取り付け時にレンズの保証が受けられない場合がございます。フロント サイド ビュー カメラの。厳密に結像面と平行ですが、製造上の欠陥により、レンズが結像面と平行にならない可能性もあり、接線方向の歪みが生じます。この現象は、通常、イメージャがフロント サイド ビュー カメラに取り付けられているときに発生します。カメラ。

#ラジアル歪みモデルとタンジェンシャル歪みモデルには合計 5 つの歪みパラメータがあります。 k1、k2、p1、p2、k3 を順に含む 5*1 行列は、多くの場合 Mat 行列の形式で定義されます。

歪み補正の場合、これらの 5 つのパラメータは、カメラのキャリブレーション中に決定する必要があるカメラの 5 つの歪み係数です。パラメータ k1、k2、および k3 は放射歪みパラメータと呼ばれます。k3 はオプションのパラメータです。歪みが激しいカメラ (アイカメラなど) の場合は、k4、k5、および k6 が存在する場合もあります。接線方向の歪みは 2 つのパラメータ p1 と p2 で表すことができます。これまでに、合計 5 つのパラメータが取得されました: K1、K2、K3、P1、P2。これら 5 つのパラメータは歪みを除去するために必要であり、歪みベクトルとも呼ばれます。をカメラ外部パラメータといいます。

# したがって、これら 5 つのパラメータを取得すれば、レンズ歪みによる画像の変形歪みを補正することができ、レンズ歪み係数による補正後の効果を次の図に示します。

##5 つの歪み係数を通じてピクセル平面上のこの点の正しい位置を見つける式は次のとおりです。

##歪み後 内部パラメータ マトリックスを通じて点をピクセル平面に投影して、画像上の点の正しい位置 (u、v) を取得できます。

#02 画像歪み補正方法

カメラ モデルの方法論とは異なり、画像歪み補正はレンズの欠陥を補正することです。 /tangential dedistortion を実行し、カメラ モデルを使用します。画像の歪みに対処する方法は、主に画像投影にどのカメラ モデルを選択するかによって決まります。

代表的なカメラ モデルの投影法には、球面モデルと円筒モデルがあります。

1. 魚眼カメラの画像歪み補正

通常は魚眼レンズと同様です。例えば、通常のカメラの撮像処理において、直線は画面上に投影しても一定の大きさの直線のままですが、魚眼カメラで撮影した画像を画面上に投影すると、シーンによっては非常に大きく長い直線になりますが、下の線検出は無限遠に投影されるため、ピンホール モデルでは魚眼レンズをモデル化できません。

限られた画面に可能な限り大きなシーンを投影するために、魚眼レンズは十数の異なるレンズで構成されています。魚眼レンズは、屈折と限られたサイズの結像面への投影を行うため、通常のレンズと比較して広い視野を持っています。

研究によると、イメージング時に魚眼カメラが従うモデルは、ほぼ単位球投影モデルであることがわかっています。ここで、カメラのピンホール モデルの導出プロセスによりよく適応するために、一般的な方法は、球面カメラ モデルへの投影プロセスを使用することです。

魚眼カメラのイメージング プロセスの分析は 2 つのステップに分けることができます。

• 3 次元空間点が線形に投影されます。もちろん、この球は我々が想定する仮想の球であり、その中心はカメラ座標の原点と一致すると考えられる。
• 単位球上の点が画像平面に投影されますが、このプロセスは非線形です。

次の図は、スマート ドライビング システムにおける魚眼カメラから全天球カメラまでの画像処理プロセスを示しています。カメラ座標系の点が X=(x,y,z) であり、ピクセル座標が x=(u,v) であると仮定します。その投影プロセスは次のように表されます。

#1) 最初のステップは、カメラを使用して 3 つの画像を収集することです。 - 世界座標系点の次元画像を作成し、画像座標系の結像点を正規化単位球面座標に投影します。

2) カメラ座標の中心を Z 軸に沿って単位だけずらすと、次のようになります:

# #3) 単位球を考慮し、球面を 1 単位に正規化する:

4) 球面を変換します。投影モデルをピンホール モデルに変換して、対応する主点座標を取得します。これを使用して、対応する標準カメラ座標系モデルを確立できます。

2. 円筒座標投影##

フロントビュー カメラやサイドビュー カメラなどの端末の場合、キャプチャされた画像は通常、主に接線方向の歪みを生成します。タンジェンシャル歪みの場合、通常は円筒カメラモデルの使用が推奨されますが、魚眼カメラなどのパノラマビューで360度範囲内で任意に視線を切り替えたり、視点を変更したりできる利点があります。視線上で近づいたり遠ざかったりする効果を実現すると同時に、円筒面を軸に沿って切断して平面上に展開できるため、円筒パノラマ画像の処理も容易になります。円筒形のパノラマ画像では、カメラを非常に正確にキャリブレーションする必要はありません。ユーザーは水平方向に 360 度の視野角を持ち、垂直方向にも視野角を一定に変更することができますが、角度範囲は限られています。円筒モデルの画質は均一で、細部がよりリアルであるため、より幅広い用途があります。

一般的に、円筒パノラマの重要な利点は次の 2 つの点に要約されます。

1) 単一の写真の取得この方法は、立方体や球体の形状を求めるよりも簡単です。一般的な車載カメラ（フロントビューカメラやサイドビューカメラなど）は基本的にオリジナル画像を取得できます。

2) 円筒形のパノラマは長方形の画像に簡単に拡張でき、一般的に使用されるコンピュータ画像形式を使用して直接保存したりアクセスしたりできます。円筒形のパノラマでは、参加者の視線の回転角度を垂直方向に 180 度未満に抑えることができますが、ほとんどのアプリケーションでは、空間情報を表現するには水平方向の 360 度のパノラマ シーンで十分です。

ここでは、円筒カメラを使用して元の画像の歪みを補正する方法のアルゴリズムに焦点を当てます。 , これは仮想カメラから元のカメラへのマッピング関係を取得する処理です。ここでの仮想カメラとは、実画像と生成された円筒画像との間のマッピング関係を指します。

次の図は、スマート ドライビング システムにおける通常の車載カメラ撮影から円筒カメラへの変換の画像処理プロセスを示しています。その中で、仮想カメラ画像を取得する本質は、仮想カメラと元のカメラの間のマッピング関係を見つけることです。一般的なプロセスは次のとおりです。

まず、正面/側面ビューの元のビデオ画像をターゲット画像 dst img として設定できます; ここで、ターゲット マップ上のメイン ポイント (u, v) は 2D から 3D への基本ポイントです上記のターゲット カメラ座標マップへの逆投影変換を行うと、ターゲット カメラはワールド座標系の点位置 (x、y、z) を再構成でき、仮想カメラの下の対応する元のカメラ画像 Src Camera が投影を通じて取得されます。 3 次元座標系での変換アルゴリズム; 元のカメラ画像に 3D から 2D への射影変換を実行することにより、対応する補正画像 Src img (u', v') を取得できます。この画像を再構成して、仮想カメラの下の元の画像 dst img。

円筒カメラ モデルから、円筒カメラ モデルからピンホール カメラ モデルへの変換式は次のとおりであることがわかります。

#上記の式で、u と v はピンホール カメラ平面の主点 (ピクセル座標系の座標とも呼ばれます) を表し、fx、fy、 cx、cy は製造誤差または設置誤差を表し、生成される 2 つの座標軸のスキュー パラメータです。主点に円筒座標系の半径距離を乗じて、円筒座標上の対応する投影を取得します。

ρ で多項式近似を行う 円筒カメラの 2 次元→ 3 次元空間の過程は不確か Tdst=Tsrc のとき、ρ が異なる値をとる場合、 3 次元空間から→ のマッピングサイドビュー／フロントビューカメラ２Ｄで得られる仮想カメラが同一であれば、Ｔｄｓｔ！ =Tsrc により、得られる仮想カメラ画像は ρ とともに変化します。特定の円筒 2D 位置 (u、v) について、特定の ρ 条件下で、dst カメラ円筒座標系の 3D カメラ座標 xc、yc、zc は、上記の式に従って計算できます。

Φ は、多項式近似を実行するために使用されます。Φ は、入射光と画像平面の間の角度です。この値は、魚眼カメラのパラメーターに非常に似ています。

次のステップはカメラ変換プロセスです。これは次のように要約できます。

まず、仮想カメラ画像の解像度を取得したい鳥瞰図 IPM マップの解像度に設定します。仮想カメラ画像の主点は IPM マップの中心になります。解像度 (通常、オフセットは設定されないと想定されます)。次に、仮想カメラの fx、fy、カメラ位置を設定します。高さは fx、fy の設定方法に対応する 1 に設定されます。y のオフセットは必要に応じて変更できます。これから、dst カメラのカメラ座標 (xc、yc、zc) dst は、ターゲット カメラ dst カメラの外部パラメータ (R、T) dst に従って観測座標系 vcs 座標に変換され、外部パラメータと組み合わせることができます。ソースカメラのパラメータ (R, T) src、VCS 座標をソースカメラのカメラ座標 (xc, yc, zc) src に変換します。

#03 概要

車載カメラには通常、さまざまな機能が搭載されているため、撮像レンズ、この多要素構造により、元のピンホール カメラ モデルを車載カメラの屈折関係の解析に単純に適用することは不可能になります。特に魚眼カメラの場合、視野範囲を拡大する必要があるため、この屈折率によって引き起こされる画像の歪みはさらに顕著になります。本稿では、インテリジェント運転システムにおける各種視覚センサーに適応した歪み補正手法に焦点を当て、主に世界座標系の画像を仮想球面座標系および仮想円筒座標系に投影する投影法を用います。したがって、歪みを除去するために 2D→3D カメラ変換に依存します。一部のアルゴリズムは、従来の歪み除去アルゴリズムと比較して、長期にわたる実践に基づいて改良されています。

以上がスマートカー認識フロントエンド処理の難しさに関する画像歪み補正技術の簡単な分析の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。