자율주행 차선 검출 및 분류를 위한 가상현실 영역 적응 방법

arXiv 논문 "자율 운전의 차선 감지 및 분류를 위한 Sim-to-Real 도메인 적응", 2022년 5월, 캐나다 워털루 대학교에서 연구.

자율 주행을 위한 지도 감지 및 분류 프레임워크에는 주석이 달린 대규모 데이터 세트가 필요하지만, 실제 시뮬레이션 환경을 조명하여 생성된 합성 데이터를 기반으로 하는 Unsupervised Domain Adaptation(UDA, Unsupervised Domain Adaptation) 방법은 비용이 저렴합니다. 시간이 덜 소요되는 솔루션입니다. 본 논문에서는 자율주행에서 차선 검출 및 분류 적용을 위한 적대적 판별 및 생성 방법의 UDA 방식을 제안합니다.

또한 CARLA의 대규모 교통 상황과 기상 조건을 활용하여 자연스러운 합성 데이터 세트를 생성하는 Simulanes 데이터 세트 생성기를 소개합니다. 제안된 UDA 프레임워크는 레이블이 지정된 합성 데이터 세트를 소스 도메인으로 사용하고 대상 도메인은 레이블이 없는 실제 데이터를 사용합니다. 적대적 생성 및 특징 판별자를 사용하여 학습 모델을 디버그하고 대상 도메인의 차선 위치 및 카테고리를 예측합니다. 평가는 실제 및 합성 데이터 세트를 사용하여 수행됩니다.

오픈 소스 UDA 프레임워크는 ​​githubcom​​/anita-hu/sim2real-lane-Detection에 있고 데이터 세트 생성기는 github.com/anita-hu/simulanes에 있습니다.

실제 운전은 교통 상황, 날씨, 주변 환경에 따라 다양합니다. 따라서 시뮬레이션 시나리오의 다양성은 실제 세계에서 모델의 우수한 적응성에 매우 중요합니다. CARLA, LGSVL 등 자율주행을 위한 오픈소스 시뮬레이터가 많이 있습니다. 이 기사에서는 시뮬레이션 데이터 세트를 생성하기 위해 CARLA를 선택했습니다. CARLA에는 유연한 Python API 외에도 도시, 시골 및 고속도로 장면을 포괄하는 미리 작성된 풍부한 지도 콘텐츠가 포함되어 있습니다.

시뮬레이션 데이터 생성기 Simulanes는 15개 차선 범주 및 동적 날씨를 포함하여 도시, 시골 및 고속도로 환경에서 다양한 시뮬레이션 시나리오를 생성합니다. 그림은 합성 데이터 세트의 샘플을 보여줍니다. 보행자와 차량 참가자가 무작위로 생성되어 지도에 배치되므로 폐색을 통해 데이터세트의 난이도가 높아집니다. TuSimple 및 CULane 데이터 세트에 따르면 차량 근처의 최대 차선 수는 4개로 제한되며 행 앵커가 레이블로 사용됩니다.

CARLA 시뮬레이터는 차선 위치 라벨을 직접 제공하지 않기 때문에 CARLA의 웨이포인트 시스템을 사용하여 라벨을 생성합니다. CARLA 웨이포인트는 차선 중앙에 위치하며 차량 자동 조종 장치가 따라갈 사전 정의된 위치입니다. 차선 위치 라벨을 얻기 위해 현재 차선의 웨이포인트를 W/2만큼 왼쪽과 오른쪽으로 이동합니다. 여기서 W는 시뮬레이터에서 제공하는 차선 너비입니다. 이동된 웨이포인트는 카메라 좌표계에 투영되고 스플라인 곡선이 장착되어 미리 결정된 행 앵커 포인트를 따라 라벨을 생성합니다. 클래스 라벨은 시뮬레이터에 의해 제공되며 15개 클래스 중 하나입니다.

N 프레임으로 데이터세트를 생성하려면 사용 가능한 모든 지도에 N을 균등하게 나눕니다. 기본 CARLA 지도에서는 ​​1번, 3번, 4번, 5번, 7번, 10번 타운이 사용되었으며, 추출된 차선 위치 라벨과 영상의 차선 위치의 차이로 인해 2번과 6번 타운은 사용되지 않았습니다. 각 지도마다 차량 참가자가 무작위 위치에 생성되어 무작위로 이동합니다. 동적 날씨는 시간의 정현파 함수로 태양의 위치를 ​​원활하게 변경하고 때때로 폭풍을 생성함으로써 달성되며, 이는 구름량, 물의 양, 고여 있는 물과 같은 변수를 통해 환경의 모습에 영향을 미칩니다. 동일한 위치에 여러 프레임을 저장하지 않으려면 차량이 이전 프레임 위치에서 이동했는지 확인하고 너무 오랫동안 정지된 경우 새 차량을 재생성하십시오.

sim-to-real 알고리즘이 차선 감지에 적용될 때 엔드 투 엔드 접근 방식이 채택되고 UFLD(Ultra-Fast-Lane-Detection) 모델이 기본 네트워크로 사용됩니다. UFLD가 선택된 이유는 경량 아키텍처가 동일한 입력 해상도에서 초당 300프레임을 달성하는 동시에 최첨단 방법에 필적하는 성능을 달성할 수 있기 때문입니다. UFLD는 행 기반 선택 방법으로 차선 감지 작업을 공식화합니다. 여기서 각 차선은 미리 정의된 행, 즉 행 앵커의 일련의 수평 위치로 표시됩니다. 각 행 앵커의 위치는 w개의 그리드 셀로 나뉩니다. i번째 레인과 j번째 행 앵커의 경우 위치 예측은 분류 문제가 되며 모델은 (w+1) 그리드 셀을 선택할 확률 Pi,j를 출력합니다. 출력의 추가 차원은 레인이 없습니다.

UFLD는 로컬 기능을 모델링하기 위해 여러 규모의 기능을 집계하는 보조 분할 분기를 제안합니다. 이는 훈련 중에만 사용됩니다. UFLD 방법에서는 분할 손실 Lseg에 교차 엔트로피 손실이 사용됩니다. 차선 분류를 위해 완전 연결(FC) 계층의 작은 분기가 추가되어 차선 위치 예측을 위한 FC 계층과 동일한 기능을 수신합니다. 차선 분류 손실 Lcls 역시 교차 엔트로피 손실을 사용합니다.

UDA 설정의 도메인 드리프트 문제를 완화하기 위해 UNIT("Unsupervised Image-to-Image Translation Networks", NIPS, 2017) & MUNIT("Multimodal Unsupervised Image-to-Image Translation , ” ECCV 2018) 적대적 생성 방법, 특징 판별자를 이용한 적대적 판별 방법. 그림에서 보는 바와 같이, 적대적 생성 방법(A)과 적대적 차별 방법(B)이 제안된다. UNIT 및 MUNIT는 (A)에 표시되며, 이는 이미지 변환을 위한 생성기 입력을 보여줍니다. MUNIT에 대한 추가 스타일 입력은 파란색 점선으로 표시됩니다. 단순화를 위해 MUNIT 스타일 인코더 출력은 이미지 변환에 사용되지 않으므로 생략됩니다.

실험 결과는 다음과 같습니다.

왼쪽: 직접 전송 방식, 오른쪽: ADA(적대적 식별) 방식

위 내용은 자율주행 차선 검출 및 분류를 위한 가상현실 영역 적응 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!