스마트카 센서 캘리브레이션 기술에 대한 심층해석

센서 교정은 자율주행 인식 시스템의 필수 연결고리이며, 후속 센서 융합을 위한 필수 단계이자 전제 조건입니다. 그 목적은 두 개 이상의 센서를 통일된 시공간 좌표계로 변환하여 센서 융합이 이루어지도록 하는 것입니다. 의미 있는 인식은 의사결정에 있어 중요한 선행 요소입니다. 모든 센서는 센서가 설계 사양을 충족하고 측정 값의 정확성을 보장하기 위해 제조 및 설치 후 실험을 통해 교정되어야 합니다.

자율 차량에 센서를 설치한 후에는 차량 주행 과정에서 진동 및 기타 이유로 인해 센서 위치가 원래 위치에서 벗어나게 됩니다. 따라서 센서를 교정하려면 일정한 간격으로 교정해야 합니다. 자율주행차는 환경 인식 및 자기 인식을 위해 여러 유형의 센서를 통해 동시에 작동합니다. 자율주행차의 인식 과정에서는 센서의 견고성과 정확성이 특히 중요합니다.

01 카메라 보정

차량 탑재 카메라는 차량 탑재 카메라에서 수집한 환경 데이터를 차량 주행 내 실제 사물과 일치시키기 위해 차량에 특정 각도와 위치로 설치됩니다. 즉, 차량 탑재 카메라에서 생성된 데이터를 찾기 위해서는 영상 픽셀 좌표계의 점 좌표와 카메라 환경 좌표계의 점 좌표 간의 변환 관계에 대한 카메라 보정이 필요합니다.

1. 카메라 내부 매개변수 보정

1.1 카메라 모델 확립

환경 좌표계, 카메라 좌표계, 영상 물리 좌표계, 영상 픽셀 좌표계의 상호 변환 관계를 통해 , 우리는 환경 좌표계와 이미지 픽셀 좌표계, 즉 현실 세계의

점 P 간의 변환 관계를 찾을 수 있습니다. 환경 좌표계의 좌표는 (Xw, Yw, Zw)이고 이미지의 위치는 (u, v)입니다. 둘은 다음과 같은 관계를 갖습니다.

환경 좌표계와 이미지 픽셀 좌표계

간의 변환 관계를 내부 매개변수 행렬인 네 가지 상수 fx, fy, Uo, Vo로 변환합니다. 카메라의 초점 거리, 요점, 센서 등 설계 기술 지표와 관련이 있으며 외부 요인(주변 환경, 카메라 위치 등)과는 아무런 관련이 없으므로 내부 매개변수라고 합니다. 카메라. 내부 기준은 카메라가 공장에서 출고될 때 결정됩니다. 그러나 동일한 생산 라인에서 생산된 카메라라도 제조 공정 및 기타 문제로 인해 내부 매개변수가 조금씩 다르기 때문에 실험을 통해 카메라의 내부 매개변수를 결정해야 하는 경우가 많습니다. 단안 카메라의 보정은 일반적으로 실험 수단을 통해 카메라의 내부 매개변수를 결정하는 것을 의미합니다.

외부 매개변수 행렬에는 회전 행렬과 이동 행렬이 포함됩니다. 회전 행렬과 이동 행렬은 점을 월드 좌표계에서 카메라 좌표계로 변환하는 방법을 함께 설명합니다. 컴퓨터 비전에서 외부 매개변수 행렬을 결정하는 과정을 일반적으로 시각적 위치 파악이라고 합니다. 자율주행차에 온보드 카메라를 설치한 후 차량 좌표계에서 카메라 위치를 보정해야 합니다. 또한, 자동차의 요철과 진동으로 인해 탑재된 카메라의 위치가 시간이 지남에 따라 서서히 변하기 때문에 자율주행차는 정기적으로 카메라 위치를 재보정해야 하는데, 이 과정을 캘리브레이션(calibration)이라고 합니다.

1.2 카메라 왜곡 보정

실제 사용에서 카메라는 이상적인 핀홀 카메라 모델에 따라 원근 투영을 완전히 정확하게 수행할 수 없습니다. 일반적으로 렌즈 왜곡이 있습니다. 실제 카메라 평면에서 생성된 이미지와 이상적인 이미지 사이에는 일정한 광학적 왜곡 오류가 있으며, 왜곡 오류는 주로 방사형 왜곡 오류와 접선 왜곡 오류입니다.

방사형 왜곡: 렌즈의 특성상 카메라 렌즈 가장자리에서 빛이 작거나 크게 휘어지는 경향이 있는데, 이를 방사형 왜곡이라고 합니다. 이러한 종류의 왜곡은 일반 저가형 렌즈에서 더욱 뚜렷하게 나타납니다. 방사형 왜곡에는 주로 배럴 왜곡과 핀쿠션 왜곡이 포함됩니다. 배럴 왜곡은 렌즈 대물체와 렌즈의 렌즈군의 구조로 인해 발생하는 이미징 이미지의 배럴 모양 확장입니다. 배럴 왜곡은 일반적으로 광각 렌즈를 사용하거나 줌 렌즈의 광각 끝을 사용할 때 감지하기가 더 쉽습니다. 핀쿠션 왜곡은 렌즈로 인해 이미지가 중앙으로 "축소"되는 현상입니다. 사람들은 줌 렌즈의 망원 끝 부분을 사용할 때 핀쿠션 왜곡을 느낄 가능성이 더 높습니다.

• 접선왜곡: 렌즈 자체가 카메라 센서면(영상면)이나 이미지면과 평행하지 않아서 발생하는 현상입니다. 이러한 상황은 대부분 렌즈 모듈에 부착된 렌즈의 설치 편차로 인해 발생합니다.

컴퓨터 비전에서 방사형 왜곡은 장면 재구성에 매우 중요한 영향을 미칩니다. 자율주행 시스템이 환경을 인식하려면 카메라가 주변 환경을 고정밀도로 재구성해야 하기 때문에 왜곡이 보정되지 않으면 정확한 환경 정보를 얻을 수 없습니다. 예를 들어, 환경 내의 표적은 이미지의 어느 영역에나 나타날 수 있으며, 왜곡이 보정되지 않으면 비전 기술을 통해 얻은 표적의 위치와 크기가 부정확한 경우가 많아 자율주행차의 주행 안전성에 직접적인 영향을 미치게 됩니다. 또한 자율주행차에는 서로 다른 위치에 여러 대의 카메라가 장착되어 있습니다. 방사형 왜곡을 고려하지 않으면 이미지 스티칭 과정에서 해당 기능의 불일치로 인해 스티칭된 이미지의 흐림 효과가 발생합니다.

일반 카메라의 경우 이미지의 방사형 왜곡을 저차 다항식 모델로 설명하는 경우가 많습니다. (u, v)가 수정된 점의 좌표이고 (u', u')가 수정되지 않은 점의 좌표라고 가정하면 둘 사이의 변환은 다음 공식으로 결정될 수 있습니다.

방사형 왜곡 저차 다항식 모델

반면에 접선 왜곡의 경우 두 개의 다른 매개변수 p1, p2를 사용하여 수정할 수 있습니다.

접선 왜곡 다항식 모델 주문

1.3 카메라 내부 매개변수 교정 방법

이 단계에서 왜곡 매개변수의 교정은 일반적으로 다른 내부 매개변수와 동시에 수행됩니다. 현재 가장 널리 사용되는 방법은 2000년 Zhang Zhengyou가 제안한 Zhang Zhengyou 교정 방법입니다. Zhang Zhengyou의 보정 방법은 다양한 위치에서 체스판 보정판을 촬영하여 각 이미지에서 체스판 보정판의 내부 꼭지점을 찾고, 내부 꼭지점 간의 대응을 통해 행렬에 제약 조건을 설정하여 내부 매개변수를 복원합니다. 매트릭스 K.

2. 카메라 간 외부 매개변수 보정

자율주행차에서는 인지 사각지대를 최소화하기 위해 멀티 카메라 모드를 사용하는 경우가 많습니다. 여러 카메라 사이의 상대적인 위치 관계를 결정하는 것을 카메라의 외부 매개변수 보정이라고 합니다.

다른 관점에서 보면 카메라의 외부 매개변수 보정을 "포즈 추정" 문제라고 부를 수도 있습니다. 두 카메라 사이의 상대 포즈 [R|t]는 6 자유도(공간 위치 및 회전 관계)를 갖습니다. 이론적으로 두 카메라가 공간에서 동시에 3개의 점을 획득하는 한 두 카메라 사이의 관계는 가능합니다. 상대적인 자세를 회복하십시오. 세 쌍의 대응점으로부터 카메라 간의 상대적 자세를 복구하는 문제를 "Perspective-3-Point-Problem, P3P"라고 합니다. 실제로는 견고성 향상을 위해 상대적 자세를 복원하기 위해 3개 이상의 포인트를 사용하는 경우가 많으며, P3P 문제는 PnP 문제로 일반화된다.

처음에 연구자들은 PnP 문제를 해결하기 위해 DLT(Direct Linear Transform) 방법을 사용했으나 이후 정확도를 높이기 위해 강인한 선형화의 재투영 오차를 제안하고 대체 방법을 사용하여 PnP 문제를 해결하기 시작했습니다. PnP 문제로 인해 태도 추정에서 유명한 번들 조정 방법(Bundle 조정, BA)이 제안되었습니다.

02 Lidar Calibration

Lidar는 자율주행 플랫폼의 주요 센서 중 하나로 인식과 위치 파악에 중요한 역할을 합니다. 카메라와 마찬가지로 LiDAR도 사용하기 전에 내부 및 외부 매개변수를 보정해야 합니다. 내부 매개변수 교정은 내부 레이저 송신기 좌표계와 레이더 자체 좌표계 간의 변환 관계를 말하며 공장을 떠나기 전에 교정되었으며 직접 사용할 수 있습니다. 자율주행 시스템이 수행해야 하는 것은 외부 매개변수 보정, 즉 라이더 자체 좌표계와 차체 좌표계 간의 관계입니다.

라이다와 차체는 견고하게 연결되어 있으며 둘 사이의 상대적인 자세와 변위는 고정되어 있습니다. 라이더 간, 라이더와 차량 간의 상대 좌표 관계를 설정하려면 라이더 설치를 보정하고 라이더 좌표계의 라이더 데이터를 차체 좌표계로 변환해야 합니다.

차량 좌표계와 라이더 좌표계

두 좌표계에서 같은 점, 즉 같은 점의 실제 좌표, 즉 같은 점은 실험을 통해 확립됩니다. 일련의 방정식을 통해 이러한 16개의 알려지지 않은 매개변수를 계산할 수 있습니다. 또한, 자율주행차에서는 레이저 레이더와 차체 좌표계 간의 관계를 설정하기 위해 일반적으로 레이저 레이더와 관성항법장치(IMU) 좌표계를 교정해야 합니다.

1. LiDAR와 LiDAR 사이의 보정

자율 차량의 경우 때로는 여러 개의 LiDAR가 있고 각 LiDAR가 획득한 외부 환경은 차체 좌표계에 정확하게 매핑되어야 합니다. 따라서 여러 LiDAR가 있는 경우 여러 LiDAR의 상대적 위치를 교정하고 교정해야 합니다.

레이저 레이더 간의 외부 매개변수 교정에 대한 아이디어는 많이 있습니다. 가장 일반적으로 사용되는 방법은 서로 다른 레이저 레이더와 차체 간의 좌표 변환 관계를 통해 서로 다른 레이저 레이더 간의 좌표 변환 관계를 간접적으로 도출하는 것입니다.

2. LiDAR와 카메라의 보정

자율주행차에서는 LiDAR와 무인자동차가 견고하게 연결되어 있으며, 둘 사이의 상대적인 자세와 변위가 고정되어 있으므로 LiDAR 스캔을 통해 얻은 데이터는 다음과 같습니다. 포인트는 환경 좌표계에서 해당 포인트에 해당하는 고유한 위치 좌표를 갖습니다. 마찬가지로 카메라도 환경 좌표계에서 고유한 위치 좌표를 가지므로 라이더와 카메라 사이에는 고정된 좌표 변환이 있습니다. 라이다와 카메라의 조인트 캘리브레이션은 단선 라이다 좌표, 카메라 좌표, 이미지 픽셀 좌표 등 여러 센서 좌표의 통합을 완료하는 것입니다. 이미지를 생성하고 LiDAR 및 카메라 공간 교정을 실현합니다.

카메라 외부 매개변수 보정과 LiDAR 외부 매개변수 보정을 완료한 후 둘 사이의 관계가 실제로 완전히 결정될 수 있습니다. LiDAR 스캐닝 지점을 이미지 픽셀 좌표계에 투영할 수 있습니다.

카메라의 내부 매개변수 교정 방법과 유사하게 교정 플레이트의 교정 방법은 라이더와 카메라의 외부 매개변수 교정에도 사용할 수 있습니다.

위 내용은 스마트카 센서 캘리브레이션 기술에 대한 심층해석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!