ICRA 2022 우수 논문: 자율주행의 2D 이미지를 조감도로 변환하면 모델 인식 정확도가 15% 향상됩니다.

자율 운전의 많은 작업의 경우 하향식, 지도 또는 조감도(BEV) 관점에서 완료하는 것이 더 쉽습니다. 많은 자율 주행 주제가 지면으로 제한되므로 평면도는 보다 실용적인 저차원 표현이며 탐색, 관련 장애물 및 위험 포착에 이상적입니다. 자율 주행과 같은 시나리오의 경우, 자유롭게 움직이는 객체와 한 번만 방문하는 장면을 처리하기 위해 의미론적으로 분할된 BEV 맵을 즉각적인 추정으로 생성해야 합니다.

이미지에서 BEV 맵을 추론하려면 이미지 요소와 환경 내 위치 간의 대응 관계를 결정해야 합니다. 일부 이전 연구에서는 이 변환 프로세스를 안내하기 위해 조밀한 깊이 맵과 이미지 분할 맵을 사용했으며 일부 연구에서는 깊이와 의미를 암시적으로 구문 분석하는 방법을 확장했습니다. 일부 연구에서는 카메라 기하학적 사전 분석을 활용하지만 이미지 요소와 BEV 평면 간의 상호 작용을 명시적으로 학습하지는 않습니다.

최근 논문에서 서리대학교 연구진은 자율주행의 2D 이미지를 조감도로 변환하는 주의 메커니즘을 도입하여 모델의 인식 정확도를 15% 향상시켰습니다. 이 연구는 얼마 전 끝난 ICRA 2022 컨퍼런스에서 우수논문상(Outstanding Paper Award)을 수상했습니다.

논문 링크: https://arxiv.org/pdf/2110.00966.pdf

본 연구에서는 BEV의 전환을 " Image-to-World" 변환 문제 . 이 문제의 목표는 이미지의 수직 주사선과 BEV의 극광선 사이의 정렬을 학습하는 것입니다. 따라서 이 투영 기하학은 네트워크에 암시되어 있습니다.

정렬 모델에서 연구진은 어텐션 기반 시퀀스 예측 구조인 Transformer를 채택했습니다. 주의 메커니즘을 활용하여 이미지의 수직 스캔 라인과 극 BEV 투영 간의 쌍별 상호 작용을 명시적으로 모델링합니다. Transformers는 객체, 깊이 및 장면 조명 간의 상호 의존성을 추론하여 전역적으로 일관된 표현을 달성할 수 있기 때문에 이미지-BEV 변환 문제에 이상적으로 적합합니다.

연구원들은 단안 이미지와 고유 매트릭스를 입력으로 사용하고 정적 및 동적 클래스의 의미론적 BEV 매핑을 예측하는 엔드투엔드 학습 공식에 Transformer 기반 정렬 모델을 포함시켰습니다.

이 논문은 정렬 모델 주변의 단안 이미지로부터 의미론적 BEV 매핑을 예측하는 데 도움이 되는 아키텍처를 구축합니다. 아래 그림 1에 표시된 것처럼 여기에는 세 가지 주요 구성 요소가 포함되어 있습니다. 이미지 평면의 공간 특징을 추출하는 표준 CNN 백본, 이미지 평면의 특징을 BEV로 변환하는 인코더-디코더 변환기, 마지막으로 분할 네트워크 BEV 기능 디코딩 의미 지도로.

구체적으로 이 연구의 주요 기여는 다음과 같습니다.

• (1) 1D 시퀀스-시퀀스 변환 세트를 사용하여 이미지에서 BEV 맵을 생성합니다.
• (2) 공간 인식 기능을 갖춘 제한된 데이터 효율적인 Transformer 네트워크를 구축합니다. 언어 영역의 (3) 공식과 단조로운 주의는 정확한 매핑을 위해 이미지의 한 지점 아래에 있는 것이 무엇인지 아는 것이 그 위에 있는 것을 아는 것보다 더 중요하다는 것을 보여줍니다. 하지만 두 가지를 모두 사용하면 최상의 성능을 얻을 수 있습니다.
(4)는 축 주의가 시간적 인식을 제공하여 성능을 어떻게 향상시키는지 보여주고 3개의 대규모 데이터 세트에 대한 최첨단 결과를 제시합니다.
실험 결과
• 실험에서 연구원들은 여러 가지 평가를 수행했습니다. 단조 주의에서 역추적 방향을 제거하기 위해 nuScenes 데이터세트의 변환 문제로 이미지를 BEV로 변환하는 것, 시퀀스 수준 컨텍스트의 유용성과 극 위치 정보의 영향. 마지막으로 이 방법은 nuScenes, Argoverse 및 Lyft 데이터 세트에 대한 SOTA 방법과 비교됩니다.

절제 실험

아래 표 2의 첫 번째 부분에서 볼 수 있듯이, 연구자들은 소프트 어텐션(양방향 보기), 단조로운 이미지 하단 백트래킹(아래로 보기), 이미지 상단 백트래킹(보기)을 비교했습니다. up) 단조로운 관심. 위를 보는 것보다 이미지 속 한 지점에서 아래를 내려다보는 것이 더 낫다는 사실이 밝혀졌습니다.

로컬 텍스처 큐를 따라 - 이는 물체가 지면과 교차하는 위치를 사용하는 도시 환경에서 인간이 물체의 거리를 결정하려고 하는 방식과 일치합니다. 결과는 또한 양방향 관찰이 정확도를 더욱 향상시켜 심층 추론을 더욱 차별적으로 만든다는 것을 보여줍니다.

긴 시퀀스 수평 컨텍스트의 유용성.

여기서 이미지-BEV 변환은 1D 시퀀스-시퀀스 변환의 집합으로 수행되므로 한 가지 질문은 전체 이미지를 BEV로 변환하면 어떻게 되는지입니다. Attention Map을 생성하는 데 필요한 2차 계산 시간과 메모리를 고려하면 이 접근 방식은 엄청나게 비쌉니다. 그러나 전체 이미지를 사용하는 상황별 이점은 이미지 평면 특징에 수평 축 주의를 적용하여 대략적으로 계산할 수 있습니다. 이미지 라인을 통한 축 방향 주의를 통해 수직 스캔 라인의 픽셀은 이제 장거리 수평 컨텍스트를 가지며, 이전과 같이 1D 시퀀스 간 전환을 통해 장거리 수직 컨텍스트가 제공됩니다. 표 2의 중간 부분에 표시된 것처럼 긴 시퀀스 수준 컨텍스트를 병합해도 모델에 도움이 되지 않으며

약간의 역효과도 있습니다. 이는 두 가지 점을 보여줍니다. 첫째, 변환된 각 광선에는 입력 이미지의 전체 너비에 대한 정보가 필요하지 않습니다. 또는 오히려 긴 시퀀스 컨텍스트는 프런트 엔드 컨볼루션으로 이미 집계된 컨텍스트와 비교하여 추가 정보를 제공하지 않습니다. . 이는 변환을 수행하기 위해 전체 이미지를 사용하면 기본 제약 공식을 넘어서는 모델 정확도가 향상되지 않으며 수평 축 주의 도입으로 인한 성능 저하로 인해 이미지 폭의 열차 시퀀스에 주의를 기울이는 것이 어렵다는 것을 의미합니다. 보시다시피, 전체 이미지를 입력 시퀀스로 사용하여 훈련하는 것이 더 어려울 것입니다.

Polar-agnostic vs polar-adaptive Transformers

: 표 2의 마지막 부분에서는 Po-Ag와 Po-Ad 변형을 비교합니다. Po-Ag 모델에는 편광 위치 정보가 없고 이미지 평면의 Po-Ad에는 Transformer 인코더에 추가된 Polar 인코딩이 포함되며 BEV 평면의 경우 이 정보가 디코더에 추가됩니다. 두 평면 중 하나에 극성 인코딩을 추가하는 것이 불가지론 모델에 추가하는 것보다 더 유리하며 동적 클래스가 가장 많이 추가됩니다. 두 평면에 모두 추가하면 이를 더욱 강화하지만 정적 클래스에 가장 큰 영향을 미칩니다. SOTA 방법과의 비교

연구원들은 이 방법을 일부 SOTA 방법과 비교했습니다. 아래 표 1에서 볼 수 있듯이 공간 모델의 성능은 현재 압축된 SOTA 방식 STA-S보다 평균 15%

의 상대적 개선으로 더 좋습니다. 더 작은 동적 클래스에서는 버스, 트럭, 트레일러 및 장애물 감지 정확도가 모두 상대적으로 35-45% 증가하여 개선이 훨씬 더 중요합니다.

아래 그림 2에서 얻은 정성적 결과도 이 결론을 뒷받침합니다. 본 논문의 모델은 더 큰 구조적 유사성과 더 나은 형태 감각을 보여줍니다. 이러한 차이는 압축에 사용되는 FCL(완전 연결 계층)에 부분적으로 기인할 수 있습니다. 작고 멀리 있는 물체를 감지할 때 이미지의 대부분은 중복되는 컨텍스트입니다.

또한 보행자 등의 물체가 차량에 의해 부분적으로 차단되는 경우가 많습니다. 이 경우 완전 연결 레이어는 보행자를 무시하고 대신 차량의 의미를 유지하는 경향이 있습니다. 여기에서 주의 방법은 이미지에서 각 방사형 깊이를 독립적으로 확인할 수 있기 때문에 장점을 보여줍니다. 즉, 깊이가 깊을수록 보행자의 신체가 보이도록 할 수 있지만 이전 깊이에서는 차량만 알아볼 수 있습니다.

아래 표 3의 Argoverse 데이터 세트에 대한 결과는 비슷한 패턴을 보여 주며, 우리의 방법은 PON [8]에 비해 30% 향상되었습니다.

아래 표 4에서 볼 수 있듯이 nuScenes 및 Lyft에서 이 방법의 성능은 LSS [9] 및 FIERY [20]보다 좋습니다. Lyft에는 표준 열차/발 분할이 없고 LSS에서 사용되는 분할을 얻을 수 있는 방법이 없기 때문에 실제 비교는 불가능합니다.

자세한 연구 내용은 원문을 참고해주세요.

위 내용은 ICRA 2022 우수 논문: 자율주행의 2D 이미지를 조감도로 변환하면 모델 인식 정확도가 15% 향상됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!