你是否真正掌握了座標系轉換？自動駕駛離不開的多感測器問題

一先導與重點

文章主要介紹自動駕駛技術中幾種常用的座標系統，以及他們之間如何完成關聯和轉換，最終建構出統一的環境模型。這裡重點理解自車到相機剛體轉換(外參)，相機到影像轉換(內參)，影像到像素有單位轉換。 3d向2d轉換會有對應的畸變，平移等。
重點：自車座標系相機機體座標系需要重寫的是：平面座標系像素座標系 困難：要考慮影像畸變，去畸變和加畸變都是在像平面上去補償

二簡介

##視覺系統一共有四個座標系：像素平面座標系（ u,v）、影像座標系（x,y）、相機座標系（）與世界座標系（）。每種座標系之間均存在聯繫，那麼如何透過影像像素座標定位到世界座標系的座標，需要

透過相機標定來解決，其中關鍵的演算法部分在於座標系轉換，而變換則需要透過齊次座標的表示方式來完成。

三各個感測器座標系

3.1 相機座標系統

相機的作用是

把三維世界中的形狀、顏色訊息，壓縮​​到一張二維圖像上。基於攝影機的感知演算法則是從二維圖像中提取並還原三維世界中的元素和信息，如車道線，車輛、行人等，併計算他們與自己的相對位置。 感知演算法和相機相關的座標係有影像座標系（像素座標系）、攝影機座標系、需要被重寫的是：平面座標系

3.1.1 影像座標系（or 像素座標系）

電腦上儲存的照片或影像，一般以左上角為原點，向右為x正方向，向下為y正方向，單位以“像素”最為常用。影像座標系為二維座標系，標示為(Xv, Yv)。

需要進行改寫的內容是：3.1.2 攝影機座標系

因為影像座標系的x軸向右，y軸向下，所以攝影機座標係以鏡頭主光軸中心為原點。一般來說，x軸向右為正方向，y軸向下為正方向，z軸向前為正方向。這樣，x和y方向與影像座標系的方向一致，z方向表示景深。攝影機座標係可以表示為（Xc，Yc）

需要進行改寫的內容是：3.1.3 需要被重寫的是：平面座標系（或成像座標系）

為了能夠

定量描述三維空間到二維影像的映射關係，圖形學裡引入了需要被重寫的是：平面座標系。它是攝影機座標系的一個平移，中心仍在攝影機主光軸上，距離光軸中心的距離等於攝影機的焦距 我們知道攝影機會在光軸中心後方的底片上成一個縮小的倒像，是真正的像平面(Xf, Yf)。但為了分析計算方便，我們會在光軸中心前方設立一個虛擬像平面。虛擬像平面上的成像為正像，大小與真實倒像相同

3.5 世界座標系根據具體情況而定，可以表示任何物體，這是由於相機引入的。單位為米

世界座標系

 

，相機座標系 ，成像座標系 及像素座標系

######四Lidar 座標系#########Lidar (Light Detection and Ranging) 是一種###遠端感測技術###，使用雷射光束測量與物體的距離。 360度旋轉發射射線，依不同目標反射率不同反射而形成電雲。在自動駕駛和機器人領域，Lidar常被用作一個主要的感測器來###獲取周圍環境的3D資訊###。在多數情況下，Lidar座標系為右手座標系，但具體定義可能會因Lidar製造商而異。 ###

4.1 定義

X軸: 通常指向Lidar前方。當雷射光束直接向前發射時，與該方向的距離測量會在X軸上產生正值。 Y軸: 通常指向Lidar的左邊。當雷射光束直接向左側發射時，與該方向的距離測量會在Y軸上產生正值。 Z軸: 通常指向Lidar的上方，與X和Y軸垂直。高度測量通常沿著Z軸進行，正值代表物體高於Lidar設備，而負值代表低於Lidar設備。

4.2 重要性

• 車載Lidar系統的座標系與車輛座標係可能不完全對齊，需要一個轉換矩陣來在兩者之間進行座標變換。
• 資料標註、地圖產生、物件偵測等任務需要明確Lidar座標系的定義。
• 對於與其他感測器的資料融合，例如相機，知道各自的座標係是非常關鍵的，以便進行正確的資料對齊和融合。
• 當與攝影機、雷達或其他感測器進行資料融合時，通常需要知道Lidar與這些感測器之間的外部標定參數（例如，旋轉和平移矩陣），以便在它們之間進行座標變換。

五自車座標系

一般環境中選擇一個參考座標系來描述感測器和物件的位置，該座標系稱為世界座標系；自車座標系一般指的是以車體後軸中心為原點（因為後軸中心不會隨著車擺動而發生相對變化），左前上或右前上的空間座標系，左（右）一般為橫向，前一般為縱向，上指地面以上空間，座標系隨著車子移動而移動。 所有的下游需要感知輸出的目標都要在自車座標系下面，BEV視角目標也是指的在這個座標系下

一般三維空間座標係用三個正交軸X,Y,Z表示物體的位置，用繞這三個正交軸的旋轉角度（roll 滾動角, pitch 俯仰角, yaw 偏航角）表示物體的姿態。時間座標系只有一個維度。為了表達方便，我們一般將空間座標和時間座標分開討論。

六攝影機的內參和外參

6.1 相機內參

內參用來決定攝影機從三維空間到二維影像的投影關係。主要包含三個參數，相機主點，相機焦距，畸變係數。內參一般由商家給定，也可以進行攝影機標定。在自動駕駛應用中，攝影機的內參為常數，使用中不會發生變化，但需要在使用前做好標定工作。攝影機的拍攝過程，可以抽象化是從三維攝影機座標系映射到二維需要被重寫的是：平面座標系，再映射到影像座標系的過程。

6.2 焦距 (f)

• #它描述了影像感測器與攝影機的透鏡之間的距離。通常以兩個參數 () 和 () 來表示，分別對應於影像的x軸和y軸。
• 在很多情況下，我們假定 ()，這意味著像素在兩個方向上都是正方形的。

6.3 主點

• 它是影像中的一個點，通常接近影像的中心。它是3D空間中的點投影到影像平面時所對應的2D點。
• 通常以兩個參數 () 和 () 表示，它們對應於影像的x軸和y軸上的座標。

6.4 畸變係數

• 真實攝影機的透鏡可能會引入畸變，導致影像失真。常見的畸變有徑向畸變和切向畸變。
• 常用的徑向畸變係數為 ()。
• 切向畸變係數為 ()。

一般情況下，攝影機的內參可以用一個矩陣來表示：

這個矩陣通常被稱為內參矩陣或相機矩陣。

6.5 相機外參

透過二維影像推斷物體在三維攝影機座標系中的位置，例如獲得距離深度資訊。 從二維影像中取得三維距離資訊，如果需要取得物件在世界座標系中的位置，則還需要知道攝影機在世界座標系中的位姿。這一位姿表示被稱為攝影機的外部參數，簡稱外參，用來決定攝影機座標與世界座標系之間相對位置關係。在自動駕駛應用中，要得到這一位置關係還需要一系列的標定和定位工作。相機相對其它座標系，旋轉平移矩陣，其中旋轉外參與上述歐拉角【yaw，patch，roll】，旋轉順序一般為（z-y-x), 單位度；平移外參，相機到目標坐標系中的平移距離，單位米

七自車座標系與世界座標系

7.1 自車座標系(Vehicle Coordinate System)

• #這是固定在車輛上的座標系。
• 通常，X軸指向車輛的前方、Y軸指向車輛的右側（或左側，這取決於約定）、Z軸指向車輛的上方。
• 這個座標系的原點通常位於車輛的某個固定點，例如車輛的中心、車輛的後軸等，這取決於特定的應用和約定。

7.2 世界座標系(World Coordinate System)

• 這是一個固定的、全域的座標系，用來描述環境中的物體和車輛。
• 世界座標系的原點和方向通常是根據特定的應用或場景來選擇。例如，它可以定位在一個地圖的某個固定點，或是某個場景的中心。
• 世界座標系為多個實體提供了一個共同的參考框架，讓它們之間進行相對定位和導航。

關係與轉換： - 由於車輛在世界中是移動的，所以自車座標系與世界座標系之間的關係是時間變化的。 - 為了在這兩個座標系之間進行轉換，通常需要一個轉換矩陣或變換（通常由旋轉和平移組成）。這個轉換可以透過各種感測器（例如GPS、IMU、雷射雷達）和演算法（例如SLAM）來獲得。 - 轉換可以表示為一個4x4的齊次座標矩陣，允許我們從一個座標系轉換到另一個座標系。

在大多數情況下，自車座標系與世界座標係是相同的，本文也是這樣理解的

八座標系之間轉換關係

8.1 從世界座標係到相機座標系

物件之間的座標系變換都可以表示座標系的旋轉變換加上平移變換，則世界座標係到相機座標系的轉換關係也是如此。繞著不同的軸旋轉不同的角度得到不同的旋轉矩陣。 繞Z軸旋轉θ示意圖:

#最後可以簡單總結為旋轉矩陣：

平移: 平移相機座標點（）平移距離為（）到世界座標點

#8.2 相機座標係到影像座標系

從相機座標係到影像座標系，屬於透視投影關係，從3D轉換到2D。也可以看成是針孔模型的改變模型。滿足三角形相似定理。

8.3 影像座標係到像素座標系

在這種情況下，與先前的座標系變換不同，此時沒有旋轉變換，但是座標原點的位置和大小不一致，因此需要設計伸縮變換和平移變換

#

8.4 四個座標系之間的關係

#透過最終的轉換關係來看，一個三維座標點可以在影像中找到對應的像素點。然而，反過來，透過影像中的一個點找到其在三維空間中對應的點就成了一個問題，因為我們並不知道等式左邊的值

紅框內即為外參，R和T分別為旋轉和平移量。內參為是相機固有的屬性，其實就是焦距f，像元尺寸dx,dy。很明顯，表示的是點離光軸的距離

九總結

#梳理了自動駕駛的各種座標系，展現自動駕駛各座標系間的關係，最終得到像素座標系與世界座標系的轉換關係。

原文連結：https://mp.weixin.qq.com/s/tTRCjZBRZcnb59nX3FRR8w

以上是你是否真正掌握了座標系轉換？自動駕駛離不開的多感測器問題的詳細內容。更多資訊請關注PHP中文網其他相關文章！