CARLA 자율 주행 시뮬레이터에 실제 에이전트 동작 추가

arXiv 논문 "CARLA 자율 주행 시뮬레이터에 실제 에이전트 행동 삽입", 스페인 6월 22일.

신속한 프로토타입 제작과 광범위한 테스트의 필요성으로 인해 자율 주행에서 시뮬레이션의 역할이 점점 더 중요해지고 있습니다. 물리 기반 시뮬레이션은 프로토타입 제작, 운전자 및 Vulnerable Road Users(VRU)의 위험을 제거하는 동시에 합리적인 비용으로 다양한 장점과 혜택을 제공합니다.

그러나 두 가지 주요 제한 사항이 있습니다. 첫째, 잘 알려진 현실 격차는 시뮬레이션된 자율 주행 경험이 효과적인 실제 성능을 달성하는 것을 방해하는 현실과 시뮬레이션의 차이를 의미합니다. 둘째, 백업 운전자나 승객, 차량, 보행자, 자전거 타는 사람과 같은 기타 도로 사용자를 포함한 실제 에이전트(인간)의 행동에 대한 경험적 지식이 부족합니다.

에이전트 시뮬레이션은 일반적으로 사전 프로그래밍되거나 확률적으로 무작위이거나 실제 데이터를 기반으로 생성되지만 특정 시뮬레이션 시나리오와 상호 작용하는 실제 에이전트의 동작을 나타내지는 않습니다. 본 논문에서는 실제 에이전트와 자율 차량을 포함한 시뮬레이션 환경 간의 실시간 상호 작용을 가능하게 하고, 행동 모델에 의존하는 예측 시스템 교육을 위해 여러 뷰에 걸쳐 시뮬레이션된 센서로부터 합성 시퀀스 데이터를 생성하는 예비 프레임워크를 제안합니다.

이 접근 방식은 자율 주행을 위해 몰입형 가상 현실(VR) 및 인간 모션 캡처(HMC) 시스템을 CARLA와 통합합니다. 하드웨어 및 소프트웨어 아키텍처를 설명하고 소위 동작 격차에 대해 논의합니다.

그림에 표시된 대로 방법에 대한 개요가 나와 있습니다. (1) CARLA-UE에는 머리(VR 헤드셋) 및 신체(모션 캡처 시스템) 포즈가 장착되어 있습니다. (2) 자율주행차, 디지털 보행자 등의 장면을 생성합니다. (3) 보행자에게 환경을 제공합니다(VR 헤드셋을 통해). (4) 자동 차량 센서는 보행자를 포함한 환경을 감지합니다.

다음은 CARLA 자율주행 시뮬레이터의 몰입형 VR 시스템의 기능을 소개합니다.

UE4와 VR 안경 및 모션 센서 세트와 같은 외부 하드웨어가 제공하는 기능을 활용하여 행동 및 상호 작용 연구를 수행하여 완전한 보행자 몰입감을 달성합니다.

CARLA 오픈 소스 시뮬레이터는 UE4에서 구현되어 고품질 렌더링, 사실적인 물리 환경 및 상호 운용 가능한 플러그인 생태계를 제공합니다. CARLA는 동적 교통 장면을 시뮬레이션하고 UE4로 생성된 가상 세계와 장면에서 실행되는 도로 에이전트 간의 인터페이스를 제공합니다. CARLA는 이를 달성하기 위해 서버가 시뮬레이션을 실행하고 장면을 렌더링하는 서버-클라이언트 시스템으로 설계되었습니다. 클라이언트와 서버 간의 통신은 소켓을 통해 이루어집니다.

시뮬레이션에 실제 에이전트 동작을 삽입하는 주요 특징은 5가지 점을 기반으로 합니다(그림 참조). 1) Avatar 제어: CARLA 블루프린트 라이브러리, 모든 역할 및 속성의 아키텍처를 수집하고 수정합니다. 2) 신체 추적: 관성 센서 세트와 독점 외부 소프트웨어를 사용하여 실제 장면을 통해 피사체의 움직임과 모션 인식을 캡처하고 아바타의 .bvh 파일을 통한 움직임 시뮬레이터에 통합됨 3) 사운드 디자인: CARLA는 오디오가 없는 시뮬레이터이므로 몰입도를 높이기 위해 위치 사운드가 환경에 도입됩니다. 4) eHMI 통합: 자율 차량 상태 통신 가능 5) Scene Simulation: CARLA 클라이언트에서 교통 장면을 디자인하여 차량과 보행자의 행동을 제어합니다.

도로 이용자 간의 소통은 교통환경에 있어서 중요한 요소입니다. 실험에서는 자율주행차가 실제 도로 사용자에게 상태와 의도를 전달할 수 있도록 외부 인간-기계 인터페이스(eHMI)를 제공했습니다.

그림에 표시된 것처럼 제안된 eHMI 디자인은 자동차 전면을 따라 있는 라이트 스트립으로 구성됩니다. 왼쪽 사진은 eHMI가 없는 사진이고, 오른쪽 사진은 eHMI가 있는 사진입니다. 이를 통해 가상 장면에서 보행자 궤적이 차량 궤적과 수렴할 때 인터페이스가 의사 결정에 미치는 영향을 연구할 수 있습니다.

전체 시스템 아키텍처는 그림에 표시되어 있습니다.

CARLA는 교통 및 특정 교통 시나리오를 시뮬레이션하는 다양한 옵션을 제공합니다. 교통 관리 모듈을 사용하여 현실적인 도시 교통 상황으로 시뮬레이션을 채웁니다. 각 차량의 제어는 특정 스레드에서 실행됩니다. 다른 계층과의 통신은 동기 메시징을 통해 관리됩니다.

특정 동작을 강제하는 매개변수를 설정하여 트래픽 흐름을 제어하세요. 예를 들어 자동차의 속도를 높이거나, 신호등 상태를 무시하거나, 보행자를 무시하거나, 차선 변경을 강제할 수 있습니다.

본체는 도시의 3D 모델 지도를 포함한 시뮬레이터에 통합되어 있습니다. 각 지도는 완전히 주석이 달린 도로 레이아웃을 설명하는 OpenDRIVE 파일을 기반으로 합니다. 이 기능을 사용하면 자신만의 지도를 디자인하고, 실제 환경과 가상 환경에서 동일한 교통 시나리오를 재현하고, 시뮬레이터의 실제 동작 통합을 평가하고, 상호 작용 결과를 비교하여 현장 연구를 수행할 수 있습니다.

하드웨어 설정은 그림과 같습니다. 실험 동안 Oculus Quest 2는 Meta에서 만든 머리 장착형 장치(HMD), 6GB RAM 프로세서, 조정 가능한 1832 x 1920 렌즈 2개, 90Hz 새로 고침 빈도 및 256GB 메모리. Quest 2는 Wi-Fi 6, Bluetooth 5.1 및 USB Type-C 연결, SteamVR 지원 및 3D 스피커를 갖추고 있습니다. 전신 추적의 경우 관성 추적기를 사용하여 PNS로 솔루션을 패키징합니다. 키트에는 독립형 VR 헤드셋, 모션 컨트롤러 2개, Studio 관성체 센서 17개, 스트랩 14세트, 충전 케이스 및 Studio 트랜시버가 포함되어 있습니다.

CARLA 빌드와 Quest 2는 Windows에만 의존하기 때문에 VR Immersion System은 현재 UE4.24 및 Windows 10 운영 체제를 사용합니다. TCP 소켓 플러그인을 사용하면 모든 참가자의 편집자 위치와 기타 유용한 매개변수가 Python API에서 전송되어 각 참가자의 음성이나 자율주행차의 eHMI를 통합합니다. "VR 미리보기"는 HMD에서 게임을 시작합니다. Perception Neuron Studio는 한 번에 최대 3개의 피사체와 23개의 신체 및 손가락 센서를 동시에 지원하는 Axis Studio와 함께 작동합니다.

사진은 대화형 교통 상황의 시뮬레이션을 보여줍니다. (a) 3D 세계 디자인. (b) 보행자 매칭 집행자 아바타. (c) 자율주행차. (d) 환경음과 지능음. (e) eHMI. (f) 신호등 및 교통표지판.

위 내용은 CARLA 자율 주행 시뮬레이터에 실제 에이전트 동작 추가의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!