자율주행에서 궤적예측은 일반적으로 인지모듈의 후단에 위치하고, 제어모듈의 전단은 연결모듈이다. 인식모듈에서 제공하는 대상궤도의 상태정보 및 도로구조 정보를 입력하고, 고정밀 지도정보, 대상 간 상호작용 정보, 환경의 의미정보 및 대상의 의도정보 등을 종합적으로 고려하여 다양한 인지대상에 대한 의도를 도출한다. . 미래의 일정 기간(0~5초 범위)에 대한 예측(컷인/아웃, 직진) 및 궤적 예측. 아래 그림과 같이.
ADAS 시스템은 주변 환경 정보에 대한 특정 인지 능력을 갖추어야 합니다. 가장 기본적인 수준은 환경을 인식하는 단계이고, 다음 단계는 환경을 이해하는 단계이며, 다음 단계는 환경을 예측하는 단계입니다. 컨트롤러는 목표물을 예측한 후, 예측된 정보를 바탕으로 차량의 경로를 계획하고, 발생할 수 있는 위험 상황에 대해 제동을 결정하거나 경고를 발령할 수 있다는 것이 궤적 예측 모듈의 의의입니다.
궤적 예측은 단기 예측과 장기 예측으로 나눌 수 있습니다.
장기 궤적 예측에는 두 가지 과제가 있습니다.
장기 궤적 예측에 영향을 미치는 불확실성은 주로 세 가지 측면에서 비롯됩니다.
궤적 예측 시스템에서 고려해야 할 네 가지 문제:
다음 그림은 Bosch에서 발행한 리뷰 논문[2]의 분류 방법을 보여줍니다.
궤적 예측에 구체적으로 관련된 일반 알고리즘은 무엇인가요?
그렇다면 궤적 예측에는 어떤 구체적인 정보를 사용할 수 있을까요?
현재 학계에는 궤적 예측에 관한 논문이 점점 더 많아지고 있습니다. 가장 큰 이유는 업계에 효과적인 방법이 없다는 것입니다.
다음은 업계 논문입니다.
BMW: 물리적 모델 + 의도 예측(학습 기반). 전문 지식을 통합하고, 상호 작용 모델을 단순화하며, 의도 예측 분류 모델에 게임 이론 아이디어를 추가하기 위해 휴리스틱 방법이 사용됩니다[3].
BENZ: 주로 DBN을 이용한 의도 예측 관련 논문[4].
Uber: LaneRCNN[5].
Google: VectorNet[6].
Huawei: 홈[7].
Waymo: TNT[8].
Aptive: Covernet[9].
NEC: R2P2[10].
SenseTime: TPNet[11].
Meituan: 스타넷[12]. 보행자.
Aibee: 소피[13]. 보행자.
MIT: 소셜 lstm[14]. 보행자.
중국 과학 기술 대학교: STGAT[15]. 보행자.
Baidu: 차선 주의[16].
Apollo: 다음 블로그를 참고하시면 됩니다.
https://www.cnblogs.com/liuzubing/p/11388485.html
Apollo의 예측 모듈은 인식, 위치 지정 및 지도 모듈로부터 입력을 받습니다.
1. 먼저 장면은 일반 순항 도로와 교차로의 두 장면으로 나뉩니다.
2. 그런 다음 인식된 대상의 중요성을 무시할 수 있는 대상(자신의 차에 영향을 주지 않음), 주의해서 처리해야 하는 대상(자신의 차에 영향을 줄 수 있음) 및 일반 대상(그 사이)으로 나눕니다. 둘).
3. 그런 다음 본질적으로 의도 예측인 평가자를 입력합니다.
4. 마지막으로 궤적 생성을 예측하는 데 사용되는 예측자를 입력합니다. 고정된 대상, 도로를 따라 운전, freeMove 및 교차로와 같은 다양한 시나리오에 대해 다양한 작업을 수행합니다.
(1) NGSIM
이 데이터 세트는 US101, I-80 및 기타의 모든 도로를 포함하여 미국 FHWA에서 수집한 고속도로 주행 데이터입니다. 도로 일정 기간 동안 차량의 주행 상태입니다. 데이터는 카메라를 사용하여 수집된 다음 하나씩 트랙 포인트 레코드로 처리됩니다. 데이터 세트는 CSV 파일입니다. 데이터에는 노이즈가 많지 않습니다.
도로 계획, 차선 설정, 교통 흐름 조정 등 전반적인 파견 수준의 자세한 정보입니다. 차량의 운동학적 상태를 추가로 추출해야 합니다. 처리 코드는 아래 github에서 사용할 수 있습니다.
https://github.com/nachiket92/conv-social-pooling
(2) 상호작용
이 데이터 세트는 버클리 캘리포니아 대학교의 기계 시스템 제어 연구소(MSC Lab)와 Karlsruhe Institute of Technology(KIT) 및 MINES ParisTech의 공동 작업자가 개발했습니다. 다양한 국가의 다양한 운전 시나리오에서 도로 사용자(예: 차량 및 보행자)의 수많은 대화형 행동을 정확하게 재현할 수 있습니다.
http://www.interaction-dataset.com/
(3)apolloscape
아폴로의 공공 자율주행 데이터 세트로, 궤도 예측이 포함된 데이터 제공 . 내부 파일은 2fps의 1분 데이터 시퀀스입니다. 데이터 구조에는 프레임 번호 ID, 대상 ID, 대상 카테고리, 위치 xyz, 길이, 너비 및 높이 정보 및 방향이 포함됩니다. 대상 카테고리에는 소형차, 대형차, 보행자, 자전거가 포함됩니다. /전기자동차 및 기타.
https://apolloscape.auto/trajectory.html
(4) TRAF
이 데이터 세트는 고밀도 교통 상황에 중점을 두고 있으며, 이는 알고리즘을 더 잘 수행하는 데 도움이 될 수 있습니다. 불확실한 환경에서 인간 운전자의 행동을 분석합니다. 데이터의 각 프레임에는 각각 자동차 13대, 보행자 5명, 자전거 2대가 포함되어 있습니다. 데이터 세트에 대한 링크 궤적 예측 프로젝트에서.
(5) nuScenes
이 데이터 세트는 2020년 4월에 제안되었습니다. 교통량이 많고 운전 조건이 까다로운 두 도시인 보스턴과 싱가포르의 운전 장면 1,000개를 수집했습니다. 해당 데이터 세트에는 관련 논문이 있으므로 이 데이터 세트를 더 잘 이해하기 위해 살펴볼 수 있습니다.
https://arxiv.org/abs/1903.11027
이 데이터 세트에는 예측 관련 대회가 있으니 따라가시면 됩니다.
https://www.nuscenes.org/prediction?externalData=all&mapData=all&modalities=Any
6 평가 지표
현재 주로 사용되는 평가 지표는 기하학적 지표입니다.
ADE는 정규화된 유클리드 거리입니다. FDE는 최종 예측 지점 사이의 유클리드 거리입니다. MR은 실패율입니다. 다양한 이름이 있는데, 가장 중요한 것은 임계값을 설정하는 것인데, 예측 지점 간의 유클리드 거리가 이 예측보다 낮으면 적중으로 기록됩니다. 마지막으로 백분율이 계산됩니다.
기하학적 지표는 예측된 궤적과 실제 궤적 사이의 유사성을 측정하는 중요한 지표이며 정확도를 잘 나타낼 수 있습니다. 그러나 궤적 예측의 목적상 단순히 정확도를 평가하는 것은 의미가 없습니다. 특히 다중 모드 출력 분포의 경우 불확실성을 평가하기 위한 확률적 측정이 있어야 하며 작업 수준 측정, 견고성 측정 및 효율성 평가도 있어야 합니다.
확률 측정: KL 발산, 예측 확률, 누적 확률을 확률 측정으로 사용할 수 있습니다. 예를 들어 NLL, KDE 기반 NLL [17]. 작업 수준 지표: 백엔드 규제(piADE, piFDE)에 대한 궤적 예측의 영향을 평가합니다[18]. 견고성: 예측 전에 관찰된 궤적 부분의 길이 또는 기간을 고려하고, 입력 데이터 샘플링 빈도 및 센서 노이즈를 고려하고, 과적합 및 입력 활용 인식 모듈에 문제가 있는 경우 입력 입력, 정상적으로 작동하는지 여부 및 기타 요인. 효율성: 컴퓨팅 성능을 고려하세요.
아래 그림과 같이 본 논문의 주요 고려사항은 참값(파란색)을 기준으로 회색 대상 자동차가 예측한 보라색과 녹색 궤적은 기하학적 메트릭을 사용하면 동일한 ADE와 FDE를 가지지만, 서로 다른 예측 방법은 서로 다른 영향을 미칩니다. 차량 계획은 영향을 미치지만 현재 작업 수준을 평가할 수 있는 측정 기준이 없으므로 이를 수행하기 위해 piADE 및 piFDE를 제안했습니다.
세 가지 다른 궤도 예측 방법: 물리적 모델 기반, 학습 기반, 계획 기반 각각의 적용 시나리오는 어디에 있으며 장점은 무엇입니까? 단점?
다양한 모델링 방법을 통해 다양한 유형의 상황별 정보를 결합하고 활용할 수 있습니다. 모든 모델링 방법은 대상의 상황별 단서와 동적 및 정적 환경을 사용하여 확장될 수 있습니다. 그러나 다양한 모델링 방법은 다양한 범주의 의미 정보를 결합할 때 다양한 수준의 복잡성과 효율성을 나타냅니다.
1. 물리적 모델 기반 방법
적용 가능한 시나리오: 대상, 정적 환경 및 동적 시뮬레이션은 명시적 전달 방정식으로 모델링될 수 있습니다.
장점:
단점:
이러한 단점으로 인해 물리적 방법의 사용은 단기 예측이나 장애물 없는 환경으로 제한됩니다.
2. 학습 기반 방법
적용 가능한 시나리오: 알 수 없는 복잡한 정보가 있는 현재 환경(예: 풍부한 의미가 있는 공공 영역)에 적합하며 이 정보는 비교적 큰 예측 범위에 사용될 수 있습니다.
장점:
단점:
3. 계획 기반 방법
적용 시나리오: 끝점이 결정되고 환경 맵이 가능한 시나리오에서 좋은 성능을 발휘합니다.
장점:
단점:
계획 기반 방법은 기본적으로 지도 및 장애물을 인식하며 의미론적 단서를 사용하여 자연스럽게 확장됩니다. 일반적으로 상황에 따른 복잡성을 목표/보상 방정식으로 인코딩하지만 동적 라인 입력을 적절하게 통합하지 못할 수 있습니다. 따라서 저자는 동적 입력을 예측 알고리즘에 통합하기 위해 특정 수정 사항을 설계해야 했습니다(Jump Markov 프로세스, 예측 궤적의 로컬 적응, 게임 이론). 학습 기반 방법과 달리 전방 및 후방 계획 프로세스가 모두 동일한 대상 동적 모델을 기반으로 하기 때문에 대상 입력을 쉽게 병합할 수 있습니다.
질문 2: 이제 궤도 예측 문제가 해결되었나요?
궤적 예측의 필요성은 주로 애플리케이션 도메인과 그 안의 특정 사용 사례 시나리오에 따라 달라집니다. 궤적 예측의 문제가 단기간에 해결되었다고 할 수는 없을 것이다. 자동차 산업을 예로 들면, 최고 속도, 교통 규칙, 보행자 속도 및 가속도 분포, 차량의 편안한 가감속률에 대한 사양을 정의하는 특별한 표준 및 규정이 있기 때문에 요구 사항을 공식화하고 적용하는 데 가장 강력한 것으로 보입니다. 해결책을 제안합니다. 스마트카의 AEB 기능에 대해서는 솔루션이 소비자 제품의 산업적 생산이 가능한 성능 수준에 도달했고, 요구되는 활용 사례도 해결됐다고 할 수 있다. 다른 사용 사례의 경우 가까운 시일 내에 더 많은 표준화와 요구사항의 명확한 설명이 필요할 것입니다. 그리고 견고함과 안정성을 위해서는 여전히 발전할 필요가 있습니다.
궤적 예측이 이 문제를 해결했는지 여부에 답하기 전에 최소한 기준을 설정해야 합니다.
현재 로봇공학 분야에서는
현재 자율주행 분야:
질문 3: 궤적 예측 성능을 측정하기 위한 현재의 평가 기술이 충분히 좋은가요?
현재 예측 알고리즘에 대한 체계적인 접근 방식이 부족합니다. 특히 상황별 입력을 고려하고 임의의 수의 대상을 예측하는 궤적 예측 방법의 경우 더욱 그렇습니다.
현재 대부분의 저자는 알고리즘 품질을 측정하는 지표로 기하학적 측정법(AED, FDE)만 사용합니다. 그러나 장기 예측의 경우 예측은 종종 다중 모드이고 불확실성과 연관되어 있으며 이러한 방법의 성능 평가는 음의 로그 우도 또는 KLD 손실에서 얻은 로그와 같이 이를 고려하는 측정항목을 사용해야 합니다.
인간 움직임의 무작위성과 지각 결함과 관련된 불확실성을 더 잘 반영하는 확률적 측정도 필요합니다.
감지 측면에서 감지 오류, 추적 결함, 자체 위치 불확실성 또는 지도 변경이 발생할 때 시스템의 안정성을 고려해야 하는 견고성 평가도 있습니다.
동시에 현재 사용되는 데이터 세트에는 매우 포괄적인 시나리오가 포함되어 있지만 이러한 데이터 세트는 일반적으로 반자동으로 주석이 추가되므로 불완전하고 잡음이 많은 실제 값 추정만 제공할 수 있습니다. 또한 장기 예측이 필요한 일부 응용 분야에서는 궤적 길이가 부족한 경우가 많습니다. 마지막으로, 데이터 세트의 대상 간 상호 작용은 일반적으로 제한됩니다. 예를 들어 희박한 환경에서는 대상이 서로 영향을 주기가 어렵습니다.
요약하자면, 예측 품질을 평가하기 위해 연구자는 보다 복잡한 데이터 세트(볼록하지 않은 장애물, 긴 궤적 및 복잡한 상호 작용 포함)와 완전한 지표(기하학 + 확률)를 선택해야 합니다. 더 나은 방법은 다양한 예측 시간, 다양한 관찰 기간, 다양한 장면 복잡성을 기반으로 다양한 정확도 요구 사항을 설정하는 것입니다. 그리고 견고성 평가와 실시간 평가가 이루어져야 합니다. 또한 ADAS 시스템이 백엔드에 미치는 영향을 측정할 수 있는 관련 지표[18]와 위험한 시나리오에 대한 민감도를 측정하는 지표가 있어야 합니다[1].
은 여기에 인용된 [2]의 토론에서 나왔습니다.
현재 추세는 단일 모델 + KF를 사용하는 방법을 뛰어넘기 위해 보다 복잡한 방법을 사용하는 것입니다. 정적 환경에 대한 더 나은 이해를 제공해야 합니다. 그리고 궤적 예측을 위한 의미론적 특징의 현재 사용은 여전히 개발 중입니다
사회적으로 인식되는 시나리오에 관하여: ① 대부분의 최신 방법은 관찰된 모든 사람들의 행동이 유사하고 그들의 움직임이 동일한 모델에 의해 결정될 수 있다고 가정합니다. 높은 수준의 사회적 속성을 포착하고 추론하는 것은 아직 초기 개발 단계에 있지만 동일한 기능을 예측할 수 있습니다. ② 대부분의 실현 가능한 방법은 사람과 실제 사람 사이의 협동적 행동이 공동 전략보다는 개인 목표를 최적화하는 경향이 더 크다는 가정에 기초하고 있으므로 전통적인 AI + 게임 이론을 결합하는 방법은 매우 유망합니다.
위 내용은 자율주행 궤적 예측 기술 현황 및 개발 동향에 대해 논의의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!