개요: 자율주행을 위한 협업 센싱 기술

arXiv 리뷰 논문 "자율 운전에 대한 협업 인식: 현재 상태 및 미래 동향", 2022년 8월 23일, Shanghai Jiao Tong University.

지각은 자율주행 시스템의 핵심 모듈 중 하나입니다. 그러나 자전거의 제한된 기능으로 인해 인지 성능 향상에 병목 현상이 발생합니다. 단일 인식의 한계를 극복하기 위해 차량이 정보를 공유하고 시야 밖, 시야 밖의 환경을 인식할 수 있도록 협업 인식이 제안됩니다. 이 기사에서는 기본 개념, 협업 모델, 핵심 요소 및 응용 프로그램을 포함하여 협업 감지 기술과 관련된 유망한 작업을 검토합니다. 마지막으로, 이 연구 분야의 열린 과제와 문제에 대해 논의하고 추가 방향을 제시합니다.

그림에 표시된 것처럼 단일 인식의 두 가지 중요한 문제는 장거리 폐색과 희소 데이터입니다. 이러한 문제를 해결하기 위한 방안으로 동일 지역 내 차량들끼리 공통의 인지정보(CPM, Collective Perception Message)를 공유하고, 환경을 협력적으로 인지하는 것을 협업 센싱(Collaborative Sensing) 또는 협업 센싱(Cooperative Sensing)이라고 한다.

통신 인프라 구축과 V2X 등 통신 기술의 발전 덕분에 차량은 안정적으로 정보를 교환하고 협업을 이룰 수 있습니다. 최근 연구에 따르면 차량 간의 협업 감지는 환경 인식의 정확성은 물론 교통 시스템의 견고성과 안전성을 향상시킬 수 있는 것으로 나타났습니다.

또한 자율주행차에는 일반적으로 안정적인 인식을 위해 정확도가 높은 센서가 장착되어 있어 비용이 많이 듭니다. 협업 감지는 감지 장비에 대한 단일 차량의 엄격한 요구 사항을 완화할 수 있습니다.

협동 감지는 근처 차량 및 인프라와 정보를 공유하여 자율 차량이 폐쇄 및 짧은 시야와 같은 특정 감지 한계를 극복할 수 있도록 합니다. 그러나 실시간의 강력한 협업 감지를 달성하려면 통신 용량 및 소음으로 인해 발생하는 몇 가지 문제를 해결해야 합니다. 최근 일부 연구에서는 협업이란 무엇인지, 언제 협업해야 하는지, 어떻게 협업하는지, 공유 정보의 정렬 등 협업 감지 전략을 연구했습니다.

퓨전과 유사하게 협업에는 4가지 범주가 있습니다.

1 초기 협업

초기 협업은 입력 공간에서 협업하여 차량과 인프라 간의 원시 감각 데이터를 공유합니다. 모든 차량과 인프라의 원시 측정값을 집계하여 전체적인 관점을 얻습니다. 따라서 각 차량은 전체 관점을 기반으로 다음과 같은 처리와 완전한 인식을 수행할 수 있으며, 이는 단일 인식에서 발생하는 폐색 및 장거리 문제를 근본적으로 해결할 수 있습니다.

그러나 원시 감각 데이터를 공유하려면 광범위한 통신이 필요하고 과도한 데이터 부하로 통신 네트워크가 쉽게 정체되어 대부분의 경우 실제 적용을 방해합니다.

2. 포스트 스테이지 협업

포스트 스테이지 협업은 출력 공간에서 협업하여 각 에이전트가 출력한 인식 결과의 융합을 촉진하고 개선을 달성합니다.

후기 단계 협업은 대역폭이 경제적이지만 에이전트 포지셔닝 오류에 매우 민감하고 불완전한 로컬 관찰로 인해 높은 추정 오류와 노이즈로 어려움을 겪습니다.

3 중간 협업

중간 협업은 중간 기능 공간에서 협업을 수행합니다. 개별 에이전트 예측 모델에서 생성된 중간 기능을 전송할 수 있습니다. 이러한 특징을 융합한 후 각 에이전트는 융합된 특징을 디코딩하고 지각 결과를 생성합니다. 개념적으로 대표 정보를 이러한 기능으로 압축하여 초기 협업에 비해 통신 대역폭을 절약하고 후기 협업에 비해 인식을 향상시킬 수 있습니다.

실제로 이 협업 전략의 설계는 i) 전송을 위한 원래 측정에서 가장 효과적이고 컴팩트한 기능을 선택하는 방법과 ii) 다른 지능의 통합을 극대화하는 방법이라는 두 가지 측면에서 알고리즘적으로 어렵습니다. 각 지능 신체의 인식 능력을 향상시키는 신체입니다.

4 하이브리드 시너지

위에서 언급했듯이 각 시너지 모드에는 장점과 단점이 있습니다. 따라서 일부 작업에서는 협업 전략을 최적화하기 위해 둘 이상의 협업 모드를 결합하는 하이브리드 협업을 채택합니다.

공동 인식의 주요 요소는 다음과 같습니다.

1 협업 그래프

그래프는 해석 가능성이 좋은 비유클리드 데이터 구조를 모델링하기 때문에 공동 인식 모델링을 위한 강력한 도구입니다. 일부 작품에서는 협업 센싱에 참여하는 차량이 완전한 협업 그래프를 형성하는데, 여기서 각 차량은 노드이고 두 차량 간의 협력 관계는 두 노드 사이의 에지입니다.

2 자세 정렬

협동 감지에서는 서로 다른 위치와 시간에 있는 차량과 인프라의 데이터를 융합해야 하기 때문에 정확한 데이터 정렬을 달성하는 것이 성공적인 협업에 매우 중요합니다.

3 정보 융합

정보 융합은 다중 에이전트 시스템의 핵심 구성 요소이며, 그 목표는 다른 에이전트의 정보 중 가장 많은 부분을 효과적인 방법으로 융합하는 것입니다.

4 강화 학습을 기반으로 한 자원 할당

실제 환경의 제한된 통신 대역폭에는 사용 가능한 통신 리소스를 최대한 활용해야 하므로 리소스 할당 및 스펙트럼 공유가 매우 중요합니다. 차량 통신 환경에서는 빠르게 변화하는 채널 상황과 증가하는 서비스 수요로 인해 할당 문제의 최적화가 매우 복잡해지고 기존 최적화 방법으로는 해결하기가 어렵습니다. 일부 연구에서는 MARL(Multi-agent Reinforcement Learning)을 활용하여 최적화 문제를 해결합니다.

협동 센싱의 응용:

1 3D 표적 탐지

LiDAR 포인트 클라우드를 기반으로 한 3D 표적 탐지는 협업 센싱 연구에서 가장 우려되는 문제입니다. 그 이유는 다음과 같습니다. i) LiDAR 포인트 클라우드는 이미지 및 비디오보다 공간 차원이 더 큽니다. ii) LiDAR 포인트 클라우드는 얼굴, 차량번호 등의 개인정보를 어느 정도 보유할 수 있습니다. iii) 포인트 클라우드 데이터는 다양한 포즈에서 정렬할 때 손실되는 픽셀 수가 적기 때문에 융합에 적합한 데이터 유형입니다. iv) 3D 객체 감지는 자율주행 인식을 위한 기본 작업으로, 추적, 모션 예측 등 많은 작업의 기반이 됩니다.

2 의미론적 분할

3D 장면의 의미론적 분할도 자율주행에 필요한 핵심 작업입니다. 3D 장면 개체의 공동 의미론적 분할 여러 에이전트의 3D 장면 관찰(이미지, 라이더 포인트 클라우드 등)이 주어지면 각 에이전트에 대해 의미론적 분할 마스크가 생성됩니다. ‍

어려운 문제:

1 커뮤니케이션 견고성

효과적인 공동 통합은 에이전트 간의 안정적인 커뮤니케이션에 달려 있습니다. 그러나 실제로 통신은 완벽하지 않습니다. i) 네트워크의 차량 수가 증가함에 따라 각 차량의 사용 가능한 통신 대역폭이 제한됩니다. ii) 불가피한 통신 지연으로 인해 차량이 실시간 정보를 수신하기 어렵습니다. iii) 때때로 통신이 중단되어 통신 중단이 발생할 수 있습니다. iv) V2X 통신이 손상되어 항상 안정적인 서비스를 제공할 수 없습니다. 통신 기술이 계속 발전하고 통신 서비스의 질이 지속적으로 향상되고 있음에도 불구하고 위와 같은 문제는 여전히 오랫동안 존재합니다. 그러나 대부분의 기존 연구에서는 정보가 실시간 및 무손실 방식으로 공유될 수 있다고 가정하므로 이러한 통신 제약을 고려하고 강력한 협업 감지 시스템을 설계하는 추가 작업이 매우 중요합니다.

2 이질성 및 교차 양식

대부분의 공동 통합 감지 작업은 LiDAR 포인트 클라우드 기반 감지에 중점을 둡니다. 그러나 이미지, 밀리미터파 레이더 포인트 클라우드 등 감지에 사용할 수 있는 데이터 유형이 더 많습니다. 이는 보다 효과적인 협업을 위해 다중 모드 센서 데이터를 활용할 수 있는 잠재적인 방법입니다. 또한 일부 시나리오에서는 서로 다른 품질의 정보를 제공하는 다양한 수준의 자율주행차가 있습니다. 따라서 이종 차량 네트워크에서 어떻게 협업할지는 협업 센싱의 실제 적용을 위한 문제입니다. 불행하게도 이종 및 교차 모드 협업 센싱에 초점을 맞춘 연구는 거의 없으며 이는 또한 공개적인 과제가 됩니다.

3대규모 데이터세트

대규모 데이터세트와 딥러닝 방법의 개발로 지각 성능이 향상되었습니다. 그러나 공동 감지 연구 분야의 기존 데이터 세트는 크기가 작거나 공개적으로 사용할 수 없습니다.

공공 대규모 데이터 세트가 부족하면 협업 감지의 추가 개발이 방해됩니다. 게다가 대부분의 데이터 세트는 시뮬레이션을 기반으로 합니다. 시뮬레이션은 알고리즘을 검증하는 경제적이고 안전한 방법이지만 실제로 협업 센싱을 적용하려면 실제 데이터 세트도 필요합니다.

위 내용은 개요: 자율주행을 위한 협업 센싱 기술의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!