자율주행 분야의 엔드투엔드 기술이 Apollo, 오토웨어 등의 프레임워크를 대체할 수 있을까요?

nuScenes에서 엔드 투 엔드 자율 주행에 대한 개방 루프 평가 재고

• 저자 단위: Baidu
• 저자: Jiang-Tian Zhai, Ze Feng, Baidu Wang Jingdong Group
• 게시: arXiv
• 논문 링크: https://arxiv.org/abs/2305.10430
• 코드 링크: https://github.com/E2E-AD/AD-MLP

키워드: 엔드투엔드 자율주행, nuScenes 개방형 루프 평가

1. 요약

기존 자율주행 시스템은 일반적으로 인지, 예측, 계획 세 가지 주요 업무로 나누어지며, 계획 업무는 내부 의도와 외부 환경을 기반으로 차량의 궤적을 예측하고 차량을 제어하는 ​​작업을 포함합니다. 대부분의 기존 솔루션은 nuScenes 데이터 세트에 대한 방법을 평가하며, 평가 지표는 L2 오류 및 충돌률입니다. 이 기사에서는 기존 평가 지표를 재평가하여 다양한 방법의 우월성을 정확하게 측정할 수 있는지 살펴봅니다. 또한 이 기사에서는 원시 센서 데이터(과거 궤적, 속도 등)를 입력으로 가져와 카메라 이미지나 LiDAR와 같은 인식 및 예측 정보를 사용하지 않고 차량의 미래 궤적을 직접 출력하는 MLP 기반 방법을 설계했습니다. 놀랍게도 이러한 간단한 방법은 nuScenes 데이터 세트에서 SOTA 계획 성능을 달성하여 L2 오류를 30% 줄입니다. 우리의 심층 분석은 nuScenes 데이터 세트에 대한 작업 계획에 중요한 요소에 대한 몇 가지 새로운 통찰력을 제공합니다. 우리의 관찰은 또한 nuScenes에서 엔드 투 엔드 자율 주행을 위한 개방형 루프 평가 체계를 다시 생각해 볼 필요가 있음을 시사합니다.

2. 논문의 목적, 기여 및 결론

이 논문은 비전과 Lidar를 사용하지 않고 차량 상태와 고급 명령(총 21차원 벡터)이 NuScene에 대한 Planning의 SOTA를 달성하기 위한 입력으로 사용될 수 있습니다. 따라서 저자는 nuScenes에 대한 개방형 루프 평가의 신뢰성이 낮다는 점을 지적하고 두 가지 분석을 제공했습니다. nuScenes 데이터 세트의 차량 궤적은 직선으로 이동하거나 매우 작은 곡률을 갖는 경향이 있습니다. 충돌률 감지는 그리드 밀도와 관련이 있습니다. , 데이터 세트의 충돌 주석도 시끄럽고 현재 충돌률을 평가하는 방법은 강력하고 정확하지 않습니다.

3. 논문의 방법

3.1 관련 작업에 대한 소개 및 간략한 설명;

기존 자율주행 모델에는 인식, 예측, 계획 등 많은 독립적인 작업이 포함됩니다. 이러한 설계는 팀 간 작성의 어려움을 단순화하지만, 각 작업의 최적화 및 훈련의 독립성으로 인해 전체 시스템에서 정보 손실 및 오류 축적으로 이어지기도 합니다. 자가 차량과 주변 환경의 시공간적 특징을 학습함으로써 이점을 얻을 수 있는 엔드투엔드 방법이 제안됩니다.

관련 연구

: ST-P3[1]은 인식, 예측, 계획을 위한 특성 학습을 통합하는 해석 가능한 비전 기반 엔드 투 엔드 시스템을 제안합니다. UniAD[2]는 계획 작업을 체계적으로 설계하고 쿼리 기반 설계를 사용하여 여러 중간 작업을 연결하며 여러 작업 간의 관계를 모델링하고 인코딩할 수 있습니다. VAD[3] 모듈은 조밀한 기능 표현이 필요하지 않습니다. 계산적으로 더 효율적입니다. 이 글에서는 기존 평가 지표가 다양한 방법의 장단점을 정확하게 측정할 수 있는지 살펴보고자 합니다. 본 논문에서는 카메라와 LiDAR가 제공하는 인지 및 예측 정보가 아닌 운전 중 차량의 물리적 상태(기존 방법에서 사용되는 정보의 하위 집합)만을 사용하여 실험을 수행합니다. 즉, 본 논문의 모델은 시각적 또는 포인트 클라우드 특징 인코더를 사용하지 않고 차량의 물리적 정보를 1차원 벡터로 직접 인코딩하여 연결 후 MLP로 전송합니다. 훈련은 감독을 위해 GT 궤적을 사용하며, 모델은 미래의 특정 시간 내에 차량의 궤적 지점을 직접 예측합니다. nuScenes 데이터 세트에 대한 평가를 위해 이전 작업을 따르고 L2 오류 및 충돌률(collision rate.)을 사용합니다.

모델 설계는 간단하지만 최상의 계획 결과를 얻습니다. 이 기사에서는 이것이 현재 평가의 단점이라고 생각합니다. 지표. 실제로 과거의 자율주행차의 궤적과 속도, 가속도, 시간연속성을 이용하면 자율주행차의 미래 움직임을 어느 정도 반영할 수 있다

3.2 모델 구조

모델 구조 개요

모델 입력은 자율 차량 상태와 미래 단기 이동 추세를 나타내는 고급 명령의 두 부분으로 구성됩니다.

자체 차량 상태: 과거 수집

=자체 차량의 운동 궤적, 순간 속도 및 가속도의 4프레임

고급 명령

: 우리 모델은 고정밀 지도를 사용하지 않기 때문에 고급 명령 탐색에 필요합니다. 일반적인 관행에 따라 좌회전, 직진, 우회전의 세 가지 유형의 명령이 정의됩니다. 구체적으로, 자차가 앞으로 3초 동안 2m 이상 왼쪽이나 오른쪽으로 움직일 경우, 해당 명령을 왼쪽이나 오른쪽으로 설정하도록 설정하고, 그렇지 않으면 직진합니다. 1x3 차원의 원-핫 인코딩을 사용하여 고급 명령을 표현합니다

네트워크 구조: 네트워크는 간단한 3계층 MLP(입력과 출력 크기는 각각 21-512-512-18)이며, 최종 출력 프레임 수 = 6, 각 프레임은 차량의 궤적 위치를 출력합니다. (x, y 좌표) 및 방향 각도(방향 각도)

Loss function

Loss function: 페널티를 위해 L1 손실 함수를 사용하세요

4. 종이의 실험

4.1 실험 설정

데이터 세트 : 주로 보스턴과 싱가포르에서 수집된 1K 장면과 약 40K 키프레임으로 구성된 nuScenes 데이터세트를 LiDAR 및 주변 카메라가 장착된 차량을 사용하여 실험했습니다. 각 프레임에 대해 수집된 데이터에는 멀티뷰 Camear 이미지, LiDAR, 속도, 가속도 등이 포함됩니다.
평가 지표: ST-P3 논문(https://github.com/OpenPerceptionX/ST-P3/blob/main/stp3/metrics.py)의 평가 코드를 사용하세요. 1초, 2초, 3초 시간 범위에 대한 출력 트레이스를 평가합니다. 예측된 자가 차량 궤적의 품질을 평가하기 위해 일반적으로 사용되는 두 가지 지표가 계산됩니다.

L2 오류: 미터 단위, 자가 차량의 예측 궤적과 다음 1초, 2초, 3초의 실제 궤적 사이에서 계산됩니다. 범위 각각 평균 ​​L2 오류

충돌 비율: 백분율. 자기 차량이 다른 물체와 얼마나 자주 충돌하는지 확인하기 위해 예측 궤적의 각 웨이포인트에 자기 차량을 나타내는 상자를 배치한 후 해당 차량 및 보행자의 경계 상자와 충돌이 발생하는지 여부를 감지하여 충돌을 계산합니다. 현재 장면.

하이퍼매개변수 설정 및 하드웨어: PaddlePaddle 및 PyTorch 프레임워크, AdamW 최적화 프로그램(4e-6 lr 및 1e-2 가중치 감소), 코사인 스케줄러, 6개 에포크에 대해 훈련됨, 배치 크기는 4, V100이 사용됨

4.2 실험 결과

표 1 기존 인식 기반 방법과의 비교

표 1에서는 몇 가지 절제 실험을 수행했습니다. 이 기사의 모델 성능에 대한 속도, 가속도, 궤적 및 고급 명령의 영향을 분석합니다. 놀랍게도, 입력으로 궤적만 사용하고 지각 정보는 사용하지 않은 기준 모델은 이미 기존의 모든 방법보다 낮은 평균 L2 오류를 달성했습니다.

입력에 점차적으로 가속도, 속도, 고급 명령을 추가하면 평균 L2 오류 및 충돌률이 0.35m에서 0.23m로, 0.33%에서 0.12%로 감소합니다. 마지막 행에서 볼 수 있듯이 Ego State와 High-level Command를 모두 입력으로 사용하는 모델은 이전의 모든 최첨단 인식 기반 방법을 능가하여 가장 낮은 L2 오류 및 충돌률을 달성합니다.

4.3 실험 분석

이 기사는 다음 3초의 궤적 지점과 곡률 각도(곡률 각도)의 두 가지 관점에서 nuScenes 훈련 세트의 자율주행차 상태 분포를 분석합니다.

nuScenes 훈련 세트의 분포 분석.

훈련 세트의 모든 미래 3s 궤적 지점은 그림 2(a)에 표시되어 있습니다. 그림에서 알 수 있듯이 궤적은 주로 중앙부(직선)에 집중되어 있으며, 궤적은 주로 직선이거나 곡률이 매우 작은 곡선을 이루고 있다.

방향 각도는 현재 시간을 기준으로 미래의 이동 방향을 나타내고, 곡률 각도는 차량의 회전 속도를 나타냅니다. 그림 2 (b)와 (c)에 표시된 것처럼 방향 및 곡률 각도의 거의 70%가 각각 -0.2 ~ 0.2 및 -0.02 ~ 0.02 라디안 범위 내에 있습니다. 이 결과는 궤도점 분포에서 도출된 결론과 일치합니다.

위의 궤적 지점, 방향 각도 및 곡률 각도 분포 분석을 바탕으로 이 기사는 nuScenes 훈련 세트에서 자율주행차가 직선 및 작은 각도로 주행하는 경향이 있다고 믿습니다. 짧은 시간 범위.

Occupancy 지도의 그리드 크기가 다르면 GT 궤적에 충돌이 발생합니다.

충돌률을 계산할 때 기존 방법의 일반적인 관행은 차량 및 보행자와 같은 객체를 Bird's Eye View(BEV) ) 공간을 선택한 다음 다이어그램에서 점유된 영역으로 변환합니다. 그리고 정확도가 떨어지는 부분이 바로 이 부분인데, GT 궤적 샘플의 작은 부분(약 2%)도 점유 그리드의 장애물과 겹치는 것을 발견했습니다. 하지만 셀프카는 실제로 수집하는 동안 다른 것과 충돌하지 않았습니다. data 충돌이 잘못 감지되는 원인이 됩니다. 에고 차량이 단일 점유 지도 픽셀 크기보다 작은 특정 물체에 가까이 있을 때 잘못된 충돌이 발생합니다.

그림 3은 두 가지 서로 다른 그리드 크기를 사용하는 Ground Truth 궤적에 대한 충돌 감지 결과와 함께 이 현상의 예를 보여줍니다. 주황색은 충돌로 잘못 감지될 수 있는 차량입니다. 오른쪽 하단에 표시된 작은 그리드 크기(0.1m)에서는 평가 시스템이 GT 궤적을 비충돌로 올바르게 식별하지만 오른쪽 하단의 더 큰 그리드 크기에서는 이를 식별합니다. 코너(0.5m)에서는 잘못된 충돌 감지가 발생합니다.

점유된 그리드 크기가 궤적 충돌 감지에 미치는 영향을 관찰한 후 0.6m의 그리드 크기를 테스트했습니다. nuScenes 훈련 세트에는 충돌 샘플이 4.8%인 반면 검증 세트에는 3.0%가 있습니다. 이전에 0.5m의 그리드 크기를 사용했을 때 검증 세트의 샘플 중 2.0%만이 충돌로 잘못 분류되었다는 점을 언급할 가치가 있습니다. 이는 충돌률을 추정하는 현재 방법이 충분히 강력하고 정확하지 않다는 것을 다시 한 번 보여줍니다.

저자 요약: 이 논문의 주요 목적은 새로운 모델을 제안하는 것이 아니라 우리가 관찰한 내용을 제시하는 것입니다. 우리 모델은 nuScenes 데이터세트에서 잘 작동하지만 현실 세계에서 사용할 수 없는 비현실적인 장난감이라는 점을 인정합니다. 자가 차량 상태 없이 운전하는 것은 극복할 수 없는 도전입니다. 그럼에도 불구하고 우리는 우리의 통찰력이 이 분야에 대한 추가 연구를 자극하고 엔드투엔드 자율 주행의 진행 상황을 재평가할 수 있기를 바랍니다.

5. 기사 평가

이 기사는 nuScenes 데이터세트에 대한 최근 엔드투엔드 자율주행 평가를 철저하게 검토한 것입니다. Planning 신호의 암시적 end-to-end 직접 출력이든 중간 링크를 통한 명시적 end-to-end 출력이든 대부분은 nuScenes 데이터 세트에서 평가되는 Planning 지표이며 Baidu의 기사에서는 이러한 종류의 평가가 다음과 같이 지적되었습니다. 신뢰할 수 없습니다. 이런 종류의 기사는 실제로 매우 흥미롭습니다. 실제로 출판되면 많은 동료들의 뺨을 때릴 수도 있지만, 업계가 앞으로 나아갈 수 있도록 적극적으로 홍보하기도 합니다. 어쩌면 엔드 투 엔드 계획을 세울 필요가 없을 수도 있습니다. end-to-end), 아마도 모두가 성능을 평가할 때 더 많은 폐쇄 루프 테스트(CARLA 시뮬레이터 등)를 수행하면 자율 주행 커뮤니티의 발전을 더 잘 촉진하고 논문을 실제 차량에 구현할 수 있습니다. 자율주행으로 가는 길은 아직 멀었습니다~

Reference

1. ^ST-P3: 시공간 특징 학습을 통한 엔드투엔드 비전 기반 자율주행
2. ^계획 중심 자율주행
3. ^VAD: 효율적인 자율 주행을 위한 벡터화된 장면 표현

원본 링크: https://mp.weixin.qq.com/s/skNDMk4B1rtvJ_o2CM9f8w

위 내용은 자율주행 분야의 엔드투엔드 기술이 Apollo, 오토웨어 등의 프레임워크를 대체할 수 있을까요?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!