반복적이고 까다로운 기상 조건에서의 데이터 세트 및 운전 인식

arXiv 논문 "Ithaca365: 반복적이고 까다로운 기상 조건 하에서의 데이터 세트 및 운전 인식"(22년 8월 1일 업로드)은 코넬 대학과 오하이오 주립 대학의 연구입니다.

최근에는 특정 위치와 좋은 날씨 조건에서 수집되는 대규모 데이터 세트의 사용으로 인해 자율주행차의 인식 능력이 향상되었습니다. 그러나 높은 안전 요구 사항을 충족하려면 이러한 감지 시스템이 눈과 비를 비롯한 다양한 기상 조건에서 견고하게 작동해야 합니다.

이 기사에서는 다양한 시나리오(도시, 고속도로, 농촌 지역, 캠퍼스), 날씨(눈, 비, 태양), 시간(요일)에서 새로운 데이터 수집 프로세스를 사용하여 강력한 자율 주행을 달성하기 위한 데이터 세트를 제안합니다. /야간) ) 및 교통 상황(보행자, 자전거 이용자 및 자동차), 데이터는 15km 경로를 따라 반복적으로 기록되었습니다.

이 데이터 세트에는 카메라와 LiDAR 센서의 이미지와 포인트 클라우드는 물론 경로 전반에 걸쳐 통신을 설정하는 고정밀 GPS/INS가 포함되어 있습니다. 데이터 세트에는 도로 및 객체 주석, 로컬 폐색, 아모달 마스크로 캡처된 3D 경계 상자가 포함됩니다.

반복 경로는 표적 발견, 지속적인 학습 및 이상 탐지를 위한 새로운 연구 방향을 열어줍니다.

Ithaca365 링크: 새로운 데이터 수집 프로세스를 통해 강력한 자율 주행을 가능하게 하는 새로운 데이터 세트

사진은 데이터 수집을 위한 센서 구성:

사진 a는 여러 위치에서 캡처한 로드맵을 보여줍니다. 드라이브는 밤을 포함하여 하루 중 다양한 시간에 데이터를 수집하도록 예약되었습니다. 도로 청소 전후의 폭설 상황을 기록합니다.

데이터세트의 주요 특징은 동일한 위치가 다른 조건에서 관찰될 수 있다는 것입니다. 예가 그림 b에 나와 있습니다.

그림은 다양한 조건에서의 순회 구문 분석을 보여줍니다.

---

도로 및 대상의 비모달 마스크를 얻기 위한 사용자 정의 표시 도구를 개발합니다. 눈 덮인 도로와 같이 다양한 환경 조건의 도로 라벨의 경우 동일한 경로의 반복 횡단을 사용합니다. 구체적으로 GPS 자세와 LiDAR 데이터로 구성된 포인트 클라우드 로드맵은 "날씨 좋음"이라는 도로 라벨을 "나쁜 날씨"로 변환합니다.

경로/데이터는 76개의 간격으로 구분됩니다. 포인트 클라우드를 BEV에 투영하고 다각형 주석자를 사용하여 도로에 레이블을 지정합니다. 도로가 BEV(2차원 도로 경계 생성)에 표시되면 다각형은 평균 높이 1.5m의 임계값을 사용하여 더 작은 150m^2 다각형으로 분해되고 평면 맞춤이 다각형 내의 점에 수행됩니다. 도로 높이를 결정하는 경계.

RANSAC 및 회귀 분석기를 사용하여 이러한 점에 평면을 맞춘 다음 추정된 지상 평면을 사용하여 경계를 따라 각 점의 높이를 계산합니다. 도로 점을 이미지에 투영하고 깊이 마스크를 생성하여 도로의 비모달 레이블을 얻습니다. GPS를 사용하여 표시된 지도와 위치를 일치시키고 ICP를 사용하여 경로를 최적화하면 지상 평면을 새 수집 경로의 특정 위치에 투영할 수 있습니다.

도로 라벨의 평균 투영 지상 진실 마스크가 동일한 위치의 다른 모든 지상 진실 마스크와 80% mIOU를 준수하는지 확인하여 ICP 솔루션을 최종 확인합니다. 그렇지 않은 경우 쿼리 위치 데이터가 검색되지 않습니다.

Amodal 대상에는 자동차, 버스, 트럭(화물, 소방차, 픽업 트럭, 구급차 포함), 보행자, 자전거 타는 사람, 오토바이 타는 사람 등 6가지 전경 대상 범주에 대해 Scale AI 라벨이 지정되어 있습니다.

이 레이블 지정 패러다임에는 세 가지 주요 구성 요소가 있습니다. 먼저 개체의 보이는 인스턴스를 식별한 다음 가려진 인스턴스 분할 마스크를 추론하고 마지막으로 각 개체의 폐색 순서에 레이블을 지정합니다. 마킹은 가장 왼쪽의 전방 카메라 뷰에서 수행됩니다. KINS와 동일한 표준을 따릅니다(“Amodal 인스턴스 세분화를 kins 데이터세트”. CVPR, 2019).

데이터세트의 환경 다양성과 비모달 품질을 입증하기 위해 픽셀 수준에서 비모달 도로를 식별하도록 두 개의 기본 네트워크를 훈련하고 테스트했으며 도로가 눈이나 자동차로 덮여 있을 때에도 작동했습니다. 첫 번째 기본 네트워크는 SFI(Semantic Foreground Inpainting)입니다. 그림에 표시된 두 번째 기준선은 SFI를 개선하기 위해 다음 세 가지 혁신을 사용합니다.

1. 위치 및 채널 참고: 모달 분할은 주로 보이지 않는 것을 추론하기 때문에 컨텍스트가 매우 중요한 단서입니다. DAN(“Dual Attention Network for Scene Segmentation”, CVPR'2019)은 서로 다른 두 가지 배경을 포착하기 위해 두 가지 혁신을 도입했습니다. PAM(Position Attention Module)은 픽셀 기능을 사용하여 이미지의 다른 픽셀에 초점을 맞추고 실제로 이미지의 다른 부분에서 컨텍스트를 캡처합니다. CAM(Channel Attention Module)은 유사한 주의 메커니즘을 사용하여 채널 정보를 효율적으로 집계합니다. 여기서 이 두 모듈은 백본 기능 추출기에 적용됩니다. 미세한 마스크 경계의 더 나은 위치 파악을 위해 CAM과 PAM을 결합합니다. 최종 전경 인스턴스 마스크는 업샘플링 레이어를 통해 획득됩니다.
2. 인페인팅으로서의 하이브리드 풀링: 최대 풀링은 겹치는 전경 특징을 가까운 배경 특징으로 대체하여 비모달 도로 특징을 복원하는 데 도움이 되는 인페인팅 작업으로 사용됩니다. 그러나 배경 기능은 일반적으로 원활하게 분산되므로 최대 풀링 작업은 추가된 노이즈에 매우 민감합니다. 대조적으로, 평균 풀링 작업은 자연스럽게 노이즈를 완화합니다. 이를 위해 평균 풀링(Average Pooling)과 최대 풀링(Maximum Pooling)을 결합하여 패치하는 것을 Mixture Pooling이라고 합니다.
3. Sum 연산: 마지막 업샘플링 레이어 이전에 하이브리드 풀링 모듈의 기능이 직접 전달되지 않지만 PAM 모듈 출력의 잔여 링크가 포함됩니다. 도로 분할 분기에서 두 개의 특징 맵을 공동으로 최적화함으로써 PAM 모듈은 폐색된 영역의 배경 특징도 학습할 수 있습니다. 이렇게 하면 배경 기능을 보다 정확하게 복구할 수 있습니다.

그림은 PAM과 CAM의 아키텍처 다이어그램을 보여줍니다.

하이브리드 풀링에 의한 패치를 위한 알고리즘 의사 코드는 다음과 같습니다.

비모달 도로 분할을 위한 훈련 및 테스트 코드는 다음과 같습니다. https://github​.com/coolgrasshopper/amodal_road_segmentation

실험 결과는 다음과 같습니다.

위 내용은 반복적이고 까다로운 기상 조건에서의 데이터 세트 및 운전 인식의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!