스마트카 인식 프론트엔드 처리의 어려움에 대한 영상 왜곡 보정 기술에 대한 간략한 분석

우리는 이미지를 촬영할 때 이미지가 원래의 기하학적 비율에 따라 재현될 수 있도록 이상적인 카메라 위치가 촬영 평면과 수직이라는 것을 알고 있습니다. 그러나 스마트 운전 자동차의 실제 적용에서는 스마트 차체 구조의 한계로 인해 차체 제어를 위해 카메라의 수평 및 수직 스캔 표면이 일반적으로 부채꼴 모양으로 확장되는 특정 미리보기 거리가 필요합니다. 카메라는 일반적으로 지면과 비스듬하게 설치됩니다. 이 각도가 있으면 이미지 가장자리에 특정 이미지 왜곡이 발생합니다. 왜곡의 결과는 사후 이미지 처리 과정에서 일련의 유사한 문제입니다.

1) 수직선이 대각선으로 촬영되어 경사 계산 오류가 발생합니다.

2) 왜곡으로 인해 먼 굴곡이 발생할 수 있습니다. 압축하면 곡률 계산 오류 등이 발생합니다.

3) 측면 차선 차량 상태의 경우 인식 과정에서 심각한 왜곡이 발생하고 후처리에서 불일치 문제가 발생합니다.

위와 같습니다. 유형 전체 이미지 인식에 문제가 있을 수 있습니다. 왜곡이 제대로 처리되지 않으면 전체 이미지 품질과 그에 따른 신경망 인식에 더 큰 위험이 발생할 수 있습니다. 스마트 자동차의 실시간 제어 요구 사항을 충족하려면 일반적으로 실제 적용 시나리오에서 카메라 이미지 왜곡에 대한 해당 보정 알고리즘을 제안하는 것이 필요합니다.

01 스마트 자동차의 주요 왜곡 유형

카메라 왜곡에는 방사형 왜곡, 접선 왜곡, 원심 왜곡, 얇은 프리즘 왜곡 등이 있습니다. 스마트 자동차의 주요 카메라 왜곡에는 방사형 왜곡, 접선 왜곡이 있습니다. .

방사형 왜곡은 배럴 왜곡과 핀쿠션 왜곡으로 구분됩니다.

일반적으로 스마트 주차 시스템에 사용되는 서라운드 뷰 카메라는 광각 촬영을 사용하며 해당 왜곡 유형은 일반적으로 방사형 왜곡입니다. 방사형 왜곡의 주요 원인은 렌즈의 방사형 곡률이 불규칙하게 변화하여 이미지가 왜곡되는 것입니다. 이 왜곡의 특징은 중심점이 방사형 방향을 따라 멀어진다는 것입니다. 즉, 거리가 멀수록 생성되는 변형량이 더 커집니다. 직사각형의 심각한 방사형 왜곡은 백엔드 처리 프로세스에 들어가기 전에 이상적인 선형 렌즈 이미지로 수정되어야 합니다.

일반적으로 구동계에 사용되는 전방, 측면, 후방카메라는 일반적인 CMOS 프로세스 카메라를 사용하여 촬영하는데, 전방카메라 설치과정에서 렌즈와 이미징 표면은 엄격하게 평행하며 동시에 렌즈가 이미징 평면과 평행하지 않아 제조 결함으로 인해 접선 왜곡이 발생할 수 있습니다. 이 현상은 일반적으로 이미저를 카메라에 부착할 때 발생합니다.

방사형 왜곡 및 접선 왜곡 모델에는 k1, k2, p1, p2, k3 순서로 5*1 행렬로 배열됩니다. 종종 Mat 행렬의 형태로 정의됩니다.

왜곡 보정을 위해 이 5가지 매개변수는 카메라 보정 중에 결정해야 하는 카메라의 5가지 왜곡 계수입니다. 매개변수 k1, k2 및 k3을 방사형 왜곡 매개변수라고 하며, 여기서 k3은 선택적 매개변수입니다. 왜곡이 심한 카메라(눈 카메라 등)의 경우 k4, k5, k6도 있을 수 있습니다. 접선 왜곡은 두 개의 매개변수 p1과 p2로 나타낼 수 있습니다. 지금까지 총 5개의 매개변수(K1, K2, K3, P1, P2)를 얻었습니다. 이 5개 매개변수는 왜곡을 제거하는 데 필요하며 왜곡 벡터라고도 합니다. 카메라 외부 매개변수라고 합니다.

따라서 이 5가지 매개변수를 얻은 후 렌즈 왜곡으로 인한 이미지의 변형 왜곡을 보정할 수 있습니다. 다음 그림은 렌즈 왜곡 계수에 따른 보정 후 효과를 보여줍니다.

이를 5가지 왜곡을 통해 찾아보세요. 계수 픽셀 평면에서 점의 올바른 위치 공식은 다음과 같습니다.

왜곡된 점은 내부 매개변수 매트릭스를 통해 픽셀 평면에 투영되어 픽셀 평면의 올바른 위치(u, v)를 얻을 수 있습니다. 이미지의 점:

02 이미지 왜곡 보정 방법

은 카메라 모델 방법론과 다릅니다. 이미지 왜곡은 렌즈 결함을 보정하고 원본 이미지에 대해 방사형/접선 왜곡 제거를 수행한 후 카메라 모델을 사용하는 것입니다. 이미지 왜곡을 처리하는 방법은 주로 이미지 투영을 위해 선택할 카메라 모델과 관련됩니다.

일반적인 카메라 모델 투영 방법에는 구형 모델과 원통형 모델이 있습니다.

1. Fisheye 카메라 이미징 왜곡 보정

일반적으로 Fisheye 렌즈는 큰 변형을 생성합니다. 예를 들어 일반 카메라의 이미징 과정에서 이미지 평면에 투영된 직선은 여전히 ​​​​직선입니다. 그러나 어안 카메라로 캡처한 이미지는 이미지 평면에서 매우 크고 긴 직선이 되며 일부 장면에서는 직선 감지도 무한대로 투영되므로 핀홀 모델은 어안을 모델링할 수 없습니다. 렌즈.

제한된 이미지 평면에 가능한 가장 큰 장면을 투사하기 위해 첫 번째 버전의 어안 렌즈는 이미징 과정에서 입사광이 다양한 각도로 굴절되어 투사됩니다. 제한된 크기의 이미징 평면으로 인해 어안 렌즈는 일반 렌즈에 비해 더 넓은 시야를 가질 수 있습니다.

연구에 따르면 어안 카메라 이미징이 따르는 모델은 대략 단위 구 투영 모델인 것으로 나타났습니다. 여기서 카메라 핀홀 모델의 도출 과정에 더 잘 적응하기 위해 구형 카메라 모델에 투영하는 과정을 이용하는 것이 일반적인 방법이다.

어안 카메라 이미징 프로세스의 분석은 두 단계로 나눌 수 있습니다.

• 3차원 공간 점은 구에 선형으로 투영됩니다. 물론 이 구는 우리가 가정하는 가상 구이며, 그 중심은 카메라와 동일한 것으로 간주됩니다. 좌표 원점이 일치합니다.
• 단위 구의 점은 이미지 평면에 투영됩니다. 이 과정은 비선형입니다.

다음 그림은 지능형 주행 시스템에서 어안 카메라에서 구형 카메라로의 이미지 처리 과정을 보여줍니다. 카메라 좌표계의 점은 X=(x,y,z)이고 픽셀 좌표는 x=(u,v)라고 가정합니다. 그러면 투영 과정은 다음과 같이 표현됩니다.

1) 첫 번째 단계는 카메라를 사용하여 세계 좌표계의 3차원 점을 수집하고 영상 좌표계의 이미징 점을 투영하는 것입니다.

2) z축을 따라 단위별로 카메라 좌표 중심을 벗어나면 다음을 얻습니다.

3) 고려하십시오. 구를 단위로 하고 구를 1단위로 정규화합니다.

4) 구면 투영 모델을 핀홀 모델로 변환하여 해당 주점 좌표를 얻습니다. 해당 표준 카메라 좌표계 모델을 기반으로 설정할 수 있습니다. 주요 점 좌표:

2.원통형 좌표 투영

전방 및 측면 카메라와 같은 단말기의 경우 일반적으로 캡처된 이미지는 주로 접선 왜곡을 생성합니다. 접선 왜곡의 경우 일반적으로 원통형 카메라 모델을 사용하는 것이 좋습니다. 어안 카메라와 같은 파노라마 뷰에서 사용자가 360도 범위 내에서 임의로 시선을 전환할 수 있고 관점을 변경할 수도 있다는 장점이 있습니다. 동시에 원통형 파노라마 이미지는 원통형 표면을 축을 따라 자르고 평면에서 펼칠 수 있기 때문에 처리하기가 더 쉽습니다. 원통형 파노라마 이미지는 카메라를 매우 정확하게 교정할 필요가 없습니다. 사용자는 수평 방향으로 360도 시야각을 가지며 수직 방향으로도 시야각을 변경할 수 있지만 원통형 모델의 이미지 품질이 균일하고 디테일이 더 사실적이므로 각도 범위가 제한됩니다. , 그것은 더 넓은 범위의 응용 프로그램을 가지고 있습니다.

일반적으로 원통형 파노라마의 중요한 장점은 다음 두 가지로 요약됩니다.

1) 단일 사진의 획득 방법은 큐브 형태 및 구형 형태의 획득 방법보다 간단합니다. 일반 차량 탑재 카메라(전방 및 측면 카메라 등)는 기본적으로 원본 이미지를 얻을 수 있습니다.

2) 원통형 파노라마는 직사각형 이미지로 쉽게 확장되며 일반적으로 사용되는 컴퓨터 이미지 형식으로 직접 저장하고 액세스할 수 있습니다. 원통형 파노라마는 참가자의 시선 회전 각도가 수직 방향으로 180도 미만이 되도록 허용하지만 대부분의 응용 분야에서는 수평 방향의 360도 파노라마 장면으로 공간 정보를 표현하기에 충분합니다.

여기에서는 원본 이미지의 왜곡을 수정하기 위해 원통형 카메라를 사용하는 방법에 대한 알고리즘에 중점을 둡니다. 실제로 이는 가상 카메라에서 원본 카메라로의 매핑 관계를 얻는 과정입니다. . 여기서 가상 카메라는 실제 이미지와 생성된 원통형 이미지 간의 매핑 관계를 의미합니다.

아래 그림은 스마트 드라이빙 시스템에서 일반 차량 카메라 촬영에서 원통형 카메라로 전환되는 영상 처리 과정을 보여줍니다. 그 중 가상 카메라 영상을 얻는 핵심은 가상 카메라와 원본 카메라의 매핑 관계를 찾는 것이다.

먼저, 정면/측면 원본 영상. 이미지는 대상 이미지 dst img로 설정할 수 있습니다. 여기서 대상 맵의 주요 지점(u, v)은 대상 카메라 좌표 맵으로 2D에서 3D로 역투영 변환을 위한 기본 지점입니다. 세계 좌표계(x, y, z)에서의 점 위치, 해당 원본 카메라 이미지 Src 가상 카메라 아래의 카메라는 해당 3차원 좌표계의 투영 변환 알고리즘을 통해 획득됩니다. 원본 카메라 이미지에 대해 3D에서 2D 투영 변환을 수행하여 얻은 이미지 Src img(u', v'), 이 이미지를 재구성하여 가상 카메라 아래의 원본 이미지 dst img를 복원할 수 있습니다.

원통형 카메라 모델에서 볼 수 있듯이 원통형 카메라 모델에서 핀홀 카메라 모델로의 변환식은 다음과 같습니다.

위 수식에서 u와 v는 핀홀 카메라 평면 주요 지점(픽셀 좌표계에서 좌표라고도 함), fx, fy, cx, cy는 제조 또는 설치 오류로 인해 발생한 두 개의 좌표축 편향 매개변수를 나타냅니다. 주점에 원통형 좌표계의 반경 거리를 곱하여 원통형 좌표계에서 해당 투영을 얻습니다.

ρ는 다항식 근사를 수행하는 데 사용됩니다. 원통형 카메라 2D->3D 공간의 프로세스는 ρ가 불확실합니다. Tdst=Tsrc일 때 ρ는 3D 공간->측면/전면 뷰 카메라에서 다른 값을 취합니다. 2D에서 얻은 가상 카메라의 값이 동일하면 Tdst! =Tsrc, 획득된 가상 카메라 이미지는 ρ에 따라 변경됩니다. 주어진 원통형 2D 위치(u, v)에 대해 주어진 ρ 조건에서 dst 카메라 원통형 좌표계의 3D 카메라 좌표 xc, yc, zc는 위 공식에 따라 계산될 수 있습니다.

Φ는 다항식 근사를 수행하는 데 사용됩니다. Φ는 입사광과 이미지 평면 사이의 각도입니다. 이 값은 어안 카메라의 매개변수와 매우 유사합니다.

다음 단계는 카메라 변환 과정으로, 다음과 같이 요약할 수 있습니다.

먼저 가상 카메라 이미지 해상도를 획득하려는 조감도 IPM 맵의 해상도로 설정합니다. 가상 카메라 이미지의 주요 지점은 IPM 맵 해상도의 중심입니다(일반적으로 오프셋이 설정되지 않은 것으로 가정). ). 둘째, 가상 카메라의 fx, fy 및 카메라 위치를 설정합니다. 이는 fx 및 fy의 설정 방법에 해당합니다. 필요에 따라 y의 오프셋을 수정할 수 있습니다. 이로부터 dst 카메라 카메라 좌표(xc, yc, zc) dst는 대상 카메라 dst 카메라의 외부 매개변수(R, T) dst에 따라 관측 좌표계 vcs 좌표로 변환된 후 외부 좌표계와 결합될 수 있다. src 카메라(R, T) src의 매개변수, VCS 좌표를 src 카메라 카메라 좌표(xc, yc, zc) src로 변환합니다.

03 요약

차량 탑재 카메라에는 일반적으로 다양한 이미징 렌즈가 장착되어 있기 때문에 이러한 다중 요소 구조로 인해 단순히 원래의 핀홀 카메라 모델을 사용하여 굴절 관계를 분석하는 것이 불가능합니다. 차량 탑재 카메라의 적응. 특히 어안 카메라의 경우 시야 범위를 확장해야 하기 때문에 굴절률로 인한 이미지 왜곡이 더욱 분명해집니다. 본 논문에서는 지능형 주행 시스템의 다양한 유형의 시각 센서에 적용되는 왜곡 제거 방법에 중점을 두고 세계 좌표계의 이미지를 투영을 통해 가상 구면 좌표계와 가상 원통형 좌표계에 투영하여 이를 수행합니다. 왜곡을 제거하기 위해 2D->3D 카메라 변환에 의존합니다. 일부 알고리즘은 기존 왜곡 제거 알고리즘과 비교하여 장기적인 연습을 기반으로 개선되었습니다.

위 내용은 스마트카 인식 프론트엔드 처리의 어려움에 대한 영상 왜곡 보정 기술에 대한 간략한 분석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!