기술적인 측면에서 양안 자율주행 시스템이 대중화되기 어려운 이유에 대해 이야기해 볼까요?

단안시는 모빌아이(ME)의 마법무기다. 사실 당시에는 양안시도 고려했으나 결국 포기를 선택했다.

단안 거리 측정과 3D 추정은 무엇에 의존하나요? 대상을 감지하는 것은 경계 상자(BB)입니다. 장애물을 감지할 수 없으면 시스템은 거리와 3차원 자세/방향을 추정할 수 없습니다. 딥러닝 없이 ME는 주로 BB, 카메라 보정을 통해 얻은 자세와 높이, 노면이 직선이라는 가정을 기반으로 거리를 추정합니다.

딥 러닝을 통해 NN 모델은 3D 실제값을 기반으로 훈련되어 3D 크기 및 자세 추정치를 얻을 수 있습니다. 거리는 평행선 원리(단일 뷰 계측)를 기반으로 얻어집니다. 얼마 전 Baidu Apollo에서 발표한 단안 L3 솔루션은 "3D Bounding Box Estimation by Deep Learning and Geometry"입니다.

물론 쌍안경은 감지되지 않더라도 시차와 깊이를 계산할 수 있습니다. 장애물(추가 깊이 정보로 인해 탐지기가 단안보다 더 좋음)도 경보를 울립니다. 문제는 양안 비전 시스템에서 시차를 추정하는 것이 쉽지 않다는 것입니다. 스테레오 매칭은 컴퓨터 비전의 일반적인 문제입니다. 넓은 기준선은 먼 대상에 대한 정확한 거리 측정 결과를 가져오는 반면, 짧은 기준선은 좋은 거리 측정 결과를 제공합니다. 목표 근처에는 트레이드오프가 있습니다.

현재 시중에 나와 있는 ADAS 쌍안경 비전 시스템은 스바루 아이사이트(Subaru EyeSight)인데 성능은 괜찮다고 합니다.

바이두가 출시한 아폴로 L4 셔틀버스는 100대 양산 중이며 쌍안경 시스템을 갖추고 있다. EU 자율주차 프로젝트인 V-Charge 역시 전방 쌍안 비전 시스템을 사용하고 있으며, 레이더 시스템이 통합된 자율주행 연구개발 시스템인 베르타 벤츠(Berta Benz)도 그 중 양안 매칭 장애물 감지 알고리즘인 Stixel이 매우 유명합니다. 보쉬, 콘티 등 1차 업체들도 과거 양안시각 솔루션을 개발했지만 시장에 영향을 미치지 못하고 도축된 것으로 전해졌다.

쌍안경 시스템의 어려움을 얘기하자면, 스테레오 매칭 외에도 캘리브레이션도 있습니다. 교정된 시스템은 "드리프트"하므로 온라인 교정이 필수입니다. 단안경의 경우에도 마찬가지입니다. 타이어 변형과 차체 범프가 카메라 외부 매개변수의 변화에 ​​영향을 미치고 피치 각도 및 요 각도와 같은 일부 매개변수는 온라인으로 보정하고 수정해야 하기 때문입니다.

양안 온라인 보정은 더 복잡합니다. 쌍안 일치는 가능한 한 1차원 검색으로 단순화되므로 두 렌즈의 광축은 스테레오 정류를 통해 기준선에 평행 및 수직이 되어야 합니다. 따라서 얻은 이득에 비해 복잡성과 비용이 증가하여 비용 효율성이 떨어지면 판매자는 포기하게 됩니다.

양안 비전이 최근 다시 언급되는 이유는 실리콘밸리의 칩 기업 암바렐라가 2014년 이탈리아 파르마 대학의 비스 연구소를 인수해 쌍안경 ADAS와 자율주행 칩을 개발한 이후 지난해 CES 이후 자동차 산업에 진출하기 시작했기 때문이다. 엔터프라이즈 및 Tier-1. 또한 Ambarella는 현재 시스템 성능을 개선하기 위한 연구를 계속하고 있습니다.

아래 그림은 자동차 지붕에 설치된 6쌍의 스테레오 비전 시스템의 개략도입니다. 기본 너비는 다를 수 있으며 이에 따라 효과적인 감지 거리도 달라집니다. 저자는 한번 자율주행차를 타고 가보니 200m 거리, 20~30m 거리를 볼 수 있었다. 실제로 온라인 교정을 수행하고 언제든지 일부 양안 시력 매개변수를 조정할 수 있습니다.

01 스테레오 매칭

먼저 스테레오 매칭, 즉 시차/깊이 추정에 대해 이야기해 보겠습니다. 그림과 같이 왼쪽과 오른쪽 카메라의 초점 거리를 f, 기준선(두 광학 중심을 연결하는 선)의 너비를 B, 3차원 점의 깊이라고 가정합니다

가시적 시차는 깊이 값을 역으로 계산할 수 있습니다. 하지만 여기서 가장 어려운 점은 왼쪽 렌즈와 오른쪽 렌즈가 보는 상이 동일한 대상인지 어떻게 판단하느냐, 즉 매칭 문제이다.

쌍안경 매칭에는 두 가지 매칭 방법이 있습니다:

• 매칭 비용 계산
• 시차(시차) 계산/최적화;
• 차이 보정(정밀화).
• 가장 유명한 로컬 방식은 SGM(Semi-Global Matching)입니다. 많은 제품에서 사용되는 방식은 이러한 개선을 기반으로 하며 많은 비전 칩이 이 알고리즘을 사용합니다.

SGM은 전역 최적화를 여러 로컬 최적화 문제의 조합으로 근사화하는 것입니다. 다음 공식은 SGM이 여러 1D 최적화 경로의 합으로 구현되는 것입니다.

아래 그림은 가로 방향에 따른 경로 최적화 기능입니다

Census Transform은 8/24비트 픽셀을 이진 시퀀스로 변환하는 또 다른 이진 기능인 LBP(Local Binary Pattern)입니다. 비슷한. 스테레오 매칭 알고리즘은 이 변환을 기반으로 하며 매칭을 해밍 거리의 최소화 검색으로 바꿉니다. 인텔의 리얼센스는 이 기술을 바탕으로 1994년 설립된 쌍안시각 스타트업 기업을 인수한 데 이어, 다른 여러 중소기업도 인수해 합쳐 탄생했다.

다음 그림은 CS 변환의 개략도입니다.

PatchMatch는 이미지 템플릿 일치를 가속화하는 알고리즘으로 광학 흐름 계산 및 시차 추정에 사용됩니다. Microsoft Research는 이전에 단안 휴대폰 카메라의 3D 재구성을 기반으로 한 프로젝트를 수행했으며 이전에 성공한 RGB-D 알고리즘 기반 KinectFusion을 모방했으며 이름은 MonoFusion과 유사하며 깊이 맵 추정은 수정된 PatchMatch 방법을 사용합니다. .

기본 아이디어는 시차와 평면 매개변수를 무작위로 초기화한 다음 이웃 픽셀 간의 정보 전파를 통해 추정치를 업데이트하는 것입니다. PM 알고리즘은 5단계로 나뉩니다.

1) 공간 전파: 각 픽셀은 왼쪽 및 위쪽 이웃의 시차 및 평면 매개변수를 확인하고 일치 비용이 더 작아지면 현재 추정치를 대체합니다. 2) 뷰 전파: 다른 뷰의 픽셀을 변환하고, 해당 이미지의 추정치를 확인하고, 작아지면 교체합니다.

3) 시간적 전파: 이전 프레임과 다음 프레임에서 해당 픽셀의 추정치를 고려합니다.

• 4) 평면 정제: 매칭 비용을 줄이기 위해 샘플을 무작위로 생성하고 추정되는 경우 업데이트합니다.
• 5) 후처리: 왼쪽-오른쪽 일관성 및 가중 중앙값 필터를 사용하여 이상값을 제거합니다.
다음 그림은 PM의 개략도입니다.
02 온라인 교정
온라인 교정에 대해 이야기해 보겠습니다.

이것은 도로 표시(얼룩말 교차점)를 사용하는 교정 방법입니다. 얼룩말 교차점의 평행선 패턴을 알고 얼룩말 교차점을 감지하여 모서리 점을 추출하며, 얼룩말 교차 패턴과 도로 표면이 일치하여 교정 매개변수를 가져옵니다.

다른 방법은 VO와 SLAM을 기반으로 하는 방식으로 더 복잡하지만 지도 기반 위치 확인을 동시에 수행할 수 있습니다. 온라인 보정을 위해 SLAM을 사용하는 것은 고주파수 작업에 적합하지 않습니다. 다음 그림은 해당 알고리즘의 흐름도입니다. 1~4단계, 스테레오 비전 SLAM을 통해 전역 연속 맵을 얻습니다. 5단계는 쌍안 카메라의 초기 추정치를 제공합니다. 변환, 6단계 7~8단계에서 모든 스테레오 카메라의 맵을 하나의 맵으로 집계합니다.

단안 방법과 유사하게 차선이 평행하고 도로가 평평하다는 가정, 즉 소실점 이론을 사용하여 온라인 교정을 빠르게 완료할 수 있습니다. 표적의 가장자리는 평행해야 하며 주행 속도는 느려야 하고 차선은 연속적이어야 하며 왼쪽 및 오른쪽 카메라의 쌍안경 구성에서는 앙각/롤 각도(요/롤 각도)가 필요합니다. )은 도로 표면에 비해 상대적으로 작습니다. 이는 초기화된 소실점과 일치합니다(오프라인 교정 상관 관계 포함) 비교는 양안 외부 매개변수의 드리프트 양을 계산할 수 있습니다(그림 5-269). 소실점으로부터의 카메라 고도/기울기 각도입니다.

03 대표적인 양안 자율주행 시스템

다음은 대표적인 쌍안경 자율주행 시스템 몇 가지를 소개합니다.

Berta Benz가 채택한 장애물 감지 알고리즘 Stixel은 다음과 같은 가정을 기반으로 합니다. 장면의 대상은 기둥으로 설명되고, 무게 중심은 대상이 지상에 서 있게 하며, 각 대상의 상단 부분은 아랫부분보다 더 깊습니다. 다음 그림(a-d)은 SGM 불일치 결과가 Stixel 분할 결과를 생성하는 방법을 소개합니다.

다음 그림은 Stixels 계산의 개략도입니다. (a) 동적 프로그래밍을 기반으로 한 자유 주행 공간 계산 (b) 높이 분할 값 (c) 비용 이미지 (회색조 값이 반전됨) (d) 높이 분할.

시차 융합을 위해 딥 러닝을 추가한 Stixel의 블록 다이어그램과 새로운 결과입니다.

VisLab의 초기 쌍안 장애물 알고리즘인 일반 장애물 및 차선 감지 시스템(GOLD)을 소개합니다. IPM(Inverse Perspective Mapping)을 기반으로 왼쪽과 오른쪽 이미지의 차이를 바탕으로 차선을 감지하고 도로의 장애물을 계산합니다.

(a) 왼쪽 (b) 오른쪽 (c) 재매핑. 왼쪽(d) 다시 매핑됨 오른쪽(e) 다시 매핑된 뷰 간의 임계값 및 필터링된 차이.(f) 두 카메라에서 볼 수 있는 도로 영역.

(a) 원본. (c) 필터링됨. (e) 바이너리화됨.

GOLD 시스템 아키텍처

자율주행 대회 VIAC(VisLab Intercontinental Autonomous Challenge)에 참가하는 VisLab의 차량입니다. 쌍안경 카메라에는 도로 분류에 도움이 되는 레이저가 차량 레이더에도 있습니다.

이것은 양안 장애물 감지 흐름도입니다. 시차 추정은 SGM 알고리즘과 SAD 기반 관련 알고리즘을 활용합니다.

두 개의 DSI(Disparity Space Image) 공간 필터가 후처리에 추가됩니다. 그림 5-274를 참조하세요. 하나는 스무딩 처리이고, 다른 하나는 관성 항법(IMU) 기반의 모션 궤적 처리입니다.

장애물 감지 알고리즘은 JPL 방식을 채택하여 공간 레이아웃 특성과 차량의 물리적 특성을 기반으로 장애물을 클러스터링합니다. 물리적 특성에는 도로의 최대 높이(차량), 최소 높이(장애물) 및 최대 통행 가능 범위가 포함됩니다. 이러한 제약 조건은 그림과 같이 공간적 원뿔을 정의한 다음 클러스터링 프로세스 중에 모든 것이 포인트 내에 속합니다. 잘린 원뿔은 장애물로 지정됩니다.

차이 추정 알고리즘의 속도를 높이기 위해 DSI를 나누는 방법이 채택됩니다.

또 다른 고전적인 방법은 도로 방정식(스테레오 비전)을 기반으로 도로 시차를 구하는 것입니다. , 그리고 다음 장애물을 기반으로 도로 표면을 계산합니다.

04 요약

일반적으로 양안으로 장애물을 감지하는 방법은 기본적으로 시차 지도를 기반으로 하며, 이를 기반으로 하는 방법은 여러 가지가 있습니다. 노면 시차에. 아마도 딥 러닝의 급속한 발전과 컴퓨팅 플랫폼의 향상으로 양안 자율 주행 시스템도 대중화될 것입니다.

위 내용은 기술적인 측면에서 양안 자율주행 시스템이 대중화되기 어려운 이유에 대해 이야기해 볼까요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!