대량생산 킬러! P-Mapnet: 사전에 저정밀 지도인 SDMap을 사용하여 매핑 성능이 거의 20포인트 가까이 향상되었습니다!

전에 작성

현재 자율주행 시스템이 고정밀 지도에 대한 의존도를 없애기 위해 사용하는 알고리즘 중 하나는 아직 장거리 인지 성능이 좋지 않다는 점을 활용하는 것입니다. 이를 위해 우리는 모델 성능을 향상시키기 위해 맵 사전 융합에 초점을 맞춘 "P"인 P-MapNet을 제안합니다. 특히 SDMap과 HDMap의 사전 정보를 활용합니다. 한편으로는 OpenStreetMap에서 약하게 정렬된 SDMap 데이터를 추출하고 이를 독립적인 용어로 인코딩하여 입력을 지원합니다. 엄격하게 수정된 입력과 실제 HD+Map 사이에는 약한 정렬 문제가 있습니다. Cross-attention 메커니즘을 기반으로 하는 우리의 구조는 SDMap 뼈대에 적응적으로 집중할 수 있으며 반면에 우리는 다음을 사용하는 방법을 제안합니다. MAE HDMap의 사전 분포의 정제 모듈을 캡처하기 위해 이 모듈은 실제 맵과 보다 일치하는 분포를 생성하는 데 도움이 되며 폐색, 아티팩트 등의 영향을 줄이는 데 도움이 됩니다. 우리는 nuScenes 및 Argoverse2 데이터 세트에 대한 광범위한 실험적 검증을 수행합니다.

그림 1

요약하면 우리의 기여는 다음과 같습니다.

우리의 고급 SDMap은 래스터화(최대 18.73mIoU) 및 양자화(최대 8.50mAP)를 포함하여 온라인 지도 생성 성능을 향상시킬 수 있습니다. 두 가지 지도 표현.

(2) HDMap 사전은 지도 인식 지수를 최대 6.34%까지 향상시킬 수 있습니다.

(3) P-MapNet은 정확성과 효율성을 절충하기 위해 다양한 추론 모드로 전환할 수 있습니다.

P-MapNet은 더 먼 감지 범위를 더욱 향상시킬 수 있는 장거리 HD+Map 생성 솔루션입니다. 우리의 코드와 모델은 https://jike5.github.io/P-MapNet/에 공개적으로 공개되었습니다.

관련 작업 검토

(1)온라인 지도 생성

HD+Map 제작에는 주로 SLAM 매핑, 자동 주석, 수동 주석 등의 단계가 포함됩니다. 이로 인해 HD+Map의 비용이 많이 들고 신선도가 제한됩니다. 따라서 온라인 지도 생성은 자율주행 시스템에 매우 중요합니다. HDMapNet은 그리드를 통해 지도 요소를 표현하고 픽셀별 예측 및 후처리 방법을 사용하여 벡터화된 예측 결과를 얻습니다. MapTR, PivotNet, Streammapnet 등과 같은 일부 최근 방법은 Transformer 아키텍처를 기반으로 엔드투엔드 벡터화 예측을 구현합니다. 그러나 이러한 방법은 센서 입력만 사용하며 폐색과 같은 복잡한 환경에서는 성능이 여전히 제한됩니다. 그리고 극단적인 날씨.

(2)장거리 지도 인식

온라인 지도에서 생성된 결과를 다운스트림 모듈에서 더 잘 사용할 수 있도록 하기 위해 일부 연구에서는 지도 인식의 범위를 더욱 확장하려는 시도를 하고 있습니다. SuperFusion[7]은 LiDAR와 카메라를 융합하고 깊이 인식 BEV 변환을 사용하여 전방 90m 장거리 예측을 달성합니다. NeuralMapPrior[8]는 현재 온라인 관찰의 품질을 향상시키고 전역 신경 맵 사전을 유지하고 업데이트하여 인식 범위를 확장합니다. [6]은 위성 영상과 차량 센서 데이터를 종합하여 BEV 특징을 획득하고 이를 추가로 예측한다. MV-Map은 오프라인 장거리 지도 생성에 중점을 두고 있으며, 이 방법은 모든 관련 프레임 특징을 집계하고 신경 방사선장을 사용하여 BEV 특징을 최적화합니다.

P-MapNet 개요

전체 프레임워크는 그림 2에 나와 있습니다.

그림 2

입력: 시스템 입력은 포인트 클라우드: , 서라운드 카메라:, 여기서 는 서라운드 카메라 수입니다. 일반적인 HDMap 생성 작업(예: HDMapNet)은 다음과 같이 정의할 수 있습니다.

여기서 는 특징 추출을 나타내고, 는 분할 헤드를 나타내고, 은 HDMap의 예측 결과입니다.

우리가 제안한 P-MapNet은 SD Map과 HD Map 사전을 결합합니다. 이 새로운 작업( 설정)은 다음과 같이 표현될 수 있습니다. 기준 치수.

모듈은 pre-training을 통해 HD Map 분포를 사전 학습합니다. 마찬가지로 사전에 SDMap만 사용하는 경우 전용 설정: 출력: 지도 생성 작업의 경우 일반적으로 래스터화와 벡터화라는 두 가지 지도 표현이 있습니다. 이 기사의 연구에서는 이 기사에서 설계된 두 개의 선험적 모듈이 래스터화된 출력에 더 적합하므로 주로 래스터화된 표현에 중점을 둡니다.

3.1 SDMap 선행 모듈

SDMap 데이터 생성

이 글에서는 nuScenes 및 Argoverse2 데이터 세트를 기반으로 연구를 수행하고 OpenStreetMap 데이터를 사용하여 위 데이터 세트의 해당 영역에 대한 SD Map 데이터를 생성하고 좌표를 수행합니다. 차량 GPS를 통한 시스템 변환. 해당 지역의 SD 맵을 획득합니다.

BEV 쿼리

그림 2와 같이 먼저 이미지 데이터에 대한 특징 추출 및 원근 변환을 수행하고 포인트 클라우드에서 특징 추출을 수행하여 BEV 특징을 얻습니다. 그런 다음 BEV 기능은 새로운 BEV 기능을 얻기 위해 컨볼루셔널 네트워크를 통해 다운샘플링되고, 기능 맵은 BEV 쿼리를 얻기 위해 평면화됩니다.

SD Map before fusion

SD Map 데이터의 경우 컨볼루셔널 네트워크를 통해 특징 추출 후 얻은 특징 BEV 쿼리를 사용한 Cross-attention 메커니즘:

cross-attention 메커니즘을 통해 얻은 BEV 특징이 전달됩니다. 맵 요소의 초기 예측을 얻기 위해 분할 헤드를 사용합니다.

3.2. HDMap Prior 모듈

은 래스터화된 HD 맵을 원본 MAE의 입력으로 직접 사용하므로 MSE 손실을 통해 학습되므로 개선 모듈로 사용할 수 없습니다. 따라서 이 기사에서는 MAE의 출력을 분할 헤드로 대체합니다. 예측된 지도 요소가 연속성과 신뢰성(실제 HD 지도의 분포에 더 가깝음)을 갖도록 하기 위해 사전 훈련된 MAE 모듈을 사용하여 개선합니다. 이 모듈의 학습은 두 단계로 구성됩니다. 첫 번째 단계는 자기 지도 학습을 사용하여 MAE 모듈을 학습하여 HD Map의 분포를 학습하는 것이고, 두 번째 단계는 얻은 가중치를 사용하여 네트워크의 모든 모듈을 미세 조정하는 것입니다. 첫 번째 단계에서는 초기 가중치로 사용됩니다.

사전 훈련의 첫 번째 단계에서는 데이터 세트에서 얻은 실제 HD 맵을 무작위로 마스킹하여 네트워크 입력으로 사용합니다. 훈련 목표는 HD 맵을 완성하는 것입니다.

두 번째 그런 다음 첫 번째 단계에서 사전 훈련된 가중치를 초기 가중치로 사용합니다. 전체 네트워크는 다음과 같습니다.

4.1 데이터 세트 및 지표

We 검토된 두 가지 주류 데이터 세트(nuScenes 및 Argoverse2)를 대상으로 수행했습니다. 제안한 방법의 장거리 효율성을 입증하기 위해

, 의 세 가지 감지 거리로 설정했습니다. 그 중 BEV Grid의

범위 해상도는 0.15m이고, 나머지 두 범위의 해상도는 0.3m이다. mIOU 메트릭을 사용하여 래스터화된 예측 결과를 평가하고 mAP를 사용하여 벡터화된 예측 결과를 평가합니다. 지도의 신뢰성을 평가하기 위해 지도 인식 지표로 LPIPS 지표도 사용합니다. 4.2 결과 SOTA 결과 비교: 제안한 방법과 현재 SOTA 방법의 지도 생성 결과를 단거리(60m × 30m)와 장거리(90m × 30m)에서 비교합니다. 표 II에서 볼 수 있듯이, 우리의 방법은 기존의 비전 전용 및 다중 모드(RGB+LiDAR) 방법에 비해 우수한 성능을 나타냅니다.

다양한 거리와 다양한 센서 모드를 사용하여 HDMapNet[14]과 성능 비교를 수행했으며 그 결과는 표 I과 표 III에 요약되어 있습니다. 우리의 방법은 240m × 60m 범위에서 mIOU를 13.4% 향상시켰습니다. 인지된 거리가 센서 감지 범위를 초과하거나 심지어 초과하면 SDMap 사전의 효율성이 더욱 중요해지며, 따라서 SDMap 사전의 효율성이 검증됩니다. 마지막으로 초기 예측 결과를 더욱 현실적으로 만들고 잘못된 결과를 제거하여 성능을 더욱 향상시키기 전에 HD 맵을 활용합니다.

HDMap 사전 인식 지표. HDMap 이전 모듈은 네트워크의 초기 예측을 HD 맵의 분포에 매핑하여 더욱 현실적으로 만듭니다. HDMap 이전 모듈 출력의 신뢰성을 평가하기 위해 지각 지표 LPIPS(값이 낮을수록 성능이 향상됨)를 사용하여 평가했습니다. 표 IV에서 볼 수 있듯이

설정에서 LPIPS 지수 개선이

단독 설정보다 더 컸습니다.

시각화:

위 내용은 대량생산 킬러! P-Mapnet: 사전에 저정밀 지도인 SDMap을 사용하여 매핑 성능이 거의 20포인트 가까이 향상되었습니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!