ST-P3: 자율주행을 위한 엔드투엔드 시공간 특징 학습 비전 방법
- 王林앞으로
- 2023-04-09 18:11:101212검색
arXiv 논문 "ST-P3: 공간-시간적 특징 학습을 통한 엔드 투 엔드 비전 기반 자율 주행", 7월 22일, Shanghai Jiao Tong University, Shanghai AI Laboratory, University of California San Diego 및 JD의 베이징 연구 저자 .com 병원.
ST-P3라고 하는 인식, 예측 및 계획 작업을 위한 보다 대표적인 기능 세트를 동시에 제공할 수 있는 시공간 기능 학습 방식을 제안합니다. 구체적으로, BEV 변환을 감지하기 전에 3차원 공간에 기하학적 정보를 유지하기 위한 자기 중심 정렬 축적 기술이 제안되었습니다. 저자는 미래 예측을 위해 과거 모션 변화를 고려하는 이중 경로 모델을 설계합니다. 계획된 시각적 요소 인식을 보완하기 위해 개선 단위가 도입되었습니다. 소스 코드, 모델 및 프로토콜 세부 사항 오픈 소스 https://github.com/OpenPercepti onX/ST-P3 .
깊이를 통해 다시점 카메라에서 원근 특징을 추출하는 선구적인 LSS 방법입니다. 3D로 업그레이드되어 BEV 공간에 통합될 것으로 추정됩니다. 잠재 깊이 예측이 중요한 두 뷰 간의 기능 변환.
2차원 평면 정보를 3차원으로 업그레이드하려면 추가적인 차원, 즉 3차원 기하학적 자율 주행 작업에 적합한 깊이가 필요합니다. 특징 표현을 더욱 향상시키려면 대부분의 장면이 비디오 소스를 사용하므로 시간 정보를 프레임워크에 통합하는 것이 당연합니다.
그림에 설명된 대로ST-P3전체 프레임워크: 구체적으로 주변 카메라 비디오 세트가 주어지면 이를 백본에 입력하여 예비 전면 뷰 기능을 생성합니다. 2D 기능을 3D 공간으로 변환하기 위해 보조 깊이 추정을 수행합니다. 자체 중심 정렬 누적 방식은 먼저 과거 피처를 현재 뷰 좌표계에 정렬합니다. 그런 다음 현재 및 과거 기능을 3차원 공간에 집계하여 BEV 표현으로 변환하기 전에 기하학적 정보를 보존합니다. 일반적으로 사용되는 예측시간 영역 모델에 더해 과거 동작 변화를 설명하는 두 번째 경로를 구성하여 성능을 더욱 향상시킵니다. 이 이중 경로 모델링은 향후 의미론적 결과를 추론할 수 있는 강력한 기능 표현을 보장합니다. 궤적 계획이라는 궁극적인 목표를 달성하기 위해 네트워크에 대한 초기 기능 사전 지식이 통합됩니다. HD 맵이 없는 경우 고급 명령을 사용하여 최종 궤적을 생성하도록 개선 모듈이 설계되었습니다.
지각의 자기중심적 정렬 축적 방법이 있습니다. (a) 깊이 추정을 활용하여 현재 타임스탬프의 특징을 3D로 올리고 정렬 후 BEV 특징으로 병합합니다. (b-c) 이전 프레임의 3D 특징을 현재 프레임 뷰와 정렬하고 모든 과거 및 현재 상태와 융합합니다. 기능 표현 향상.
예측을 위한 양방향 모델이 있습니다. (i) 잠재 코드는 특성 맵의 분포입니다. (ii iii) a는 불확실성 분포를 결합하여 미래 다중을 나타냅니다. -양식, 그리고 경로 b는 과거 변화로부터 학습하여 경로 a의 정보를 보완하는 데 도움이 됩니다.
계획에 대한 사전 지식의 통합 및 개선입니다. 전체 비용 다이어그램에는 두 가지 하위 비용이 포함됩니다. 카메라 입력에서 비전 기반 정보를 집계하는 미래 지향적 기능을 사용하여 최소 비용 궤적을 더욱 재정의합니다.
위 내용은 ST-P3: 자율주행을 위한 엔드투엔드 시공간 특징 학습 비전 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!