자율주행 시스템을 위한 매우 포괄적인 시스템 시간 동기화 솔루션의 설계를 검토한 기사 1편

차세대 자율주행 시스템은 다중 레이저 레이더, 다중 밀리미터파 레이더, 다중 카메라 등 다양한 센서를 사용해야 하며, 데이터 수집부터 처리, 도메인 컨트롤러로 전송까지 지연이 발생하고 지연 길이가 불안정합니다. . 센서 융합, 의사결정 계획, 융합 포지셔닝 등 자율주행 성능을 향상시키기 위해서는 자율주행 고급 도메인 컨트롤러 HPC와 관련 센서의 시간 동기화가 필요하며, 실제 프로세스는 센서의 타임스탬프 정보를 명확하게 정의하는 것입니다. 입력 데이터(시간 포함), 스탬핑 시간 및 정확도 요구 사항), 전체 시간 동기화 계획 및 동기화 정확도 요구 사항도 정의해야 합니다.

1 개요

클럭 동기화의 원리를 명확하게 설명하려면 먼저 두 가지 유형의 클럭 동기화인 데이터 클럭과 관리 클럭에 대해 설명해야 합니다.

우선, 통합 관성항법에서 제공하는 UTC 시간은 PPS+GPRMC를 통해 시간 동기화 서버에 타이밍을 제공하는 데 사용됩니다. 시간 동기화 서버는 PTP 프로토콜과 중앙 게이트웨이를 통해 다양한 센서 데이터 수집 호스트에 해당 시간 정보를 제공합니다. HPC는 내부 SOC와 MCU 간의 시간 동기화 프로세스를 구현해야 합니다.

HPC의 SOC와 MCU 사이의 데이터 평면 시간은 SOC를 마스터로 사용하여 gPTP 프로토콜 시간을 통해 동기화됩니다.

HPC의 SOC와 MCU 사이의 관리 평면 시간은 HPC 프라이빗 프로토콜 동기화를 통해 동기화됩니다. , SOC가 마스터이고 이더넷 링크를 통해 동기화가 수행됩니다.

SOC와 MCU 간의 동기화 프로세스 중에 데이터 플레인은 gPTP 프로토콜을 사용하며 시간 동기화 정확도는 250마이크로초가 필요합니다. 이더넷이며 정확도는 10ms입니다. 내부 관리 시간과 데이터 플레인 시간을 일치시켜야 합니다. HPC는 데이터 클럭의 연속성을 보장하고 비정상적인 점프를 허용하지 않아야 합니다. 비정상적인 점프로 인해 심각한 데이터 전달 오류와 해석 오류가 발생할 수 있기 때문입니다.

도메인 컨트롤러가 콜드 스타트될 때마다 도메인 컨트롤러는 초기 동기화를 위해 일정 시간(이 시간은 실제 상황에 따라 요청 시 조정될 수 있음) 동안 마스터 클럭을 제공하는 노드와 통신을 시도합니다. . 동기화가 성공하면 데이터 시계는 현재 관리 시간을 사용하여 획득한 절대 시간을 동기화하고 해당 드라이버를 시작하고 계산을 위해 해당 응용 프로그램 소프트웨어를 호출할 수 있습니다. 동기화에 실패하면 도메인 컨트롤러는 계속해서 동기화를 시도합니다.

2 HPC와 VDC의 동기화 프로세스

전체 동기화 범주에는 주로 중앙 도메인 컨트롤러와 게이트웨이, 다양한 센서 및 액추에이터 간의 동기화가 포함됩니다. HPC의 절대 시간은 일반적으로 중앙 게이트웨이 CGW를 통해 차량의 모든 컨트롤러에 대한 통일된 시간 소스를 제공하고 모든 관련 컨트롤러(예: 본체 도메인 컨트롤러 PDC, 차량 도메인 컨트롤러 VDC, 조종석 도메인 컨트롤러 CSC)에 전체 동기화 타임스탬프를 출력합니다. , 등.). 차세대 자율주행 시스템 아키텍처에서 차량 도메인 컨트롤러 VDC는 차량 액츄에이터의 작동을 제어하는 ​​기능을 맡을 뿐만 아니라 HPC와 다른 도메인 컨트롤러 간의 정보 상호 작용 및 프로토콜을 전달하는 중앙 게이트웨이 CGW 역할도 합니다. 변환 기능.

다음 그림은 자율주행 컨트롤러 HPC와 그에 연관된 도메인 컨트롤러 간의 연결 관계를 보여줍니다.

위에서 언급한 것처럼 VDC가 중앙 게이트웨이 역할을 할 수 있으므로 HPC 중심의 컨트롤러 간 동기화 프로세스는 HPC와 VDC 간의 동기화 프로세스에 중점을 둡니다. VDC의 정보 전송을 통해 도메인 컨트롤러 간의 동기화 및 통신 기능을 구현할 수 있습니다. 각 컨트롤러는 주로 이더넷 기반 gPTP 프로토콜을 사용하여 이더넷을 통해 직접 연결됩니다. HPC와 VDC 간의 동기화 과정에서는 HPC에 직접 연결된 GNSS 입력의 절대 시간을 메인 클럭으로 고려해야 하며, 시간 오류는 상대적으로 작습니다(보통 10ms 이내). 스마트 드라이빙 빅데이터 클라우드 분석의 정확도와 gPTP 프로토콜 정확도가 일반적으로 250마이크로초 이내가 요구되는 점을 고려하면, HPC와 VDC 고정 주기는 정확도의 정수배(예: 125밀리초)를 사용하여 동기화할 수 있습니다.

3 HPC 로컬 네트워크 노드의 동기화 프로세스

HPC 로컬 네트워크 노드 동기화 프로세스는 HPC 로컬 네트워크 노드와 센서 간의 동기화 프로세스를 의미합니다. 자율주행 사설 내부망에서는 도메인 컨트롤러를 마스터 노드로 사용하고, 해당 데이터 종료 시간을 시간 소스로 사용한다. HPC는 로컬 인트라넷을 통해 센서(라이다, 밀리미터파 레이더, 주행 카메라, 서라운드 뷰 카메라, 통합 관성 항법 등)에 통합된 시간 소스를 제공합니다. 이 과정에서 LiDAR와 복합 관성 내비게이션은 이더넷(1PPS 예약)을 통해 연결되고, 밀리미터파 레이더와 초음파 박스 PDC는 CANFD/Ethernet을 통해 연결되며, 카메라(주행/서라운드 뷰 카메라 포함)는 GSML/LVDS를 통해 연결됩니다. 이러한 유형의 다양한 네트워크 연결 형태는 게이트웨이와의 시간 동기화를 위한 슬레이브 노드로 사용됩니다.

주로 다음과 같은 3가지 주요 센서로 구성됩니다.

시각 센서

​주행 관제용 카메라와 주차 관제용 카메라로 구분됩니다.

운전용 카메라에는 주로 전방 카메라, 측면 카메라, 후방 카메라가 포함됩니다. 주차 카메라는 주로 중앙 집중식 솔루션을 채택하는 서라운드 뷰 카메라를 의미하며 일반적으로 더 이상 일체형 카메라가 아닙니다. , 그러나 단순한 센서에서는 입력이 원본 이미지입니다.

HPC와 카메라는 GSML 또는 LVDS와 같은 비디오 데이터 케이블을 통해 데이터를 전송합니다. HPC는 데이터 시계(즉, 절대 시간이 아닌 시스템 시간)를 시간 소스로 사용하여 카메라에 트리거 신호를 정기적으로 보냅니다. 실시간 기반입니다. 트리거 신호는 노출 시간을 조정합니다. 해당 타임스탬프는 단일 카메라에 직접 기록할 수 없기 때문에 다중 카메라 동기화 트리거링을 사용하여 동기화하고, 도메인 컨트롤러에서 트리거 신호가 기록되는 순간을 이미지의 초기 타임스탬프로 사용합니다.

카메라는 항상 이미징 프로세스의 타임스탬프를 찍으며(아래 계산 방법), 시간 정확도는 10ms 이내여야 합니다.

Tmidtime 이미징 중간 = Ttrigger(트리거 시간) + 1/2*Texposure(노출 시간)

위 공식의 노출 시간은 고정되어 있습니다.

트리거 순간은 전체 프레임 이미지의 노출 끝 부분에 있기 때문에 타임스탬프의 정확도를 높이기 위해서는 노출 기간을 보상하여 가운데 줄의 노출 끝 순간을 구해야 합니다. 전체 프레임 이미지의 중간 노출 순간을 표현하기 위해 일반적으로 시간 보상 공식은 다음과 같습니다.

Tcompensate(보상 시간) = 각 라인 길이 × 총 라인 수/2

 도메인 컨트롤러 녹화 시간에는 카메라 이미징 중간 시간, 이미지가 들어오는 시간의 5가지 시간이 포함됩니다. 센싱 모듈, 이미지 센싱 결과 융합 모듈의 시간, 지각 융합 결과의 전송 시간, 다운스트림 모듈의 수신 시간.

Lidar

​현재는 반고체 LiDAR가 주로 사용되고 있습니다.

HPC와 LiDAR는 일반적으로 기가비트 이더넷 직접 연결과 결합된 이더넷 gPTP 프로토콜을 기반으로 합니다. HPC는 마스터 노드이고 LiDAR는 슬레이브 노드입니다. HPC 동기화 시간 소스는 절대 시간(즉, 시스템 시간)을 데이터 시계로 사용하며 시간 동기화 정확도 요구 사항은 여전히 ​​250마이크로초 이내입니다. HPC와 LiDAR는 동기화 시간 정확도의 정수배(예: 125밀리초 또는 250ms일 수 있음)를 사용하여 동기화 과정에 따라 실시간으로 시간을 업데이트해야 합니다. 또한 LiDAR는 센서가 타임스탬프를 작성하는 데 필요한 시간으로 포인트 클라우드의 각 프레임에 있는 각 포인트의 시간을 방출해야 합니다(정확도 요구 사항은 1ms 이내).

마찬가지로 도메인 컨트롤러는 LiDAR 반환 시간을 기준으로 레이저 포인트 클라우드가 전송되는 순간(즉, 반사된 신호를 수신할 때 LiDAR가 각 지점을 기록할 수 있는 순간)을 기록해야 합니다. (일반적으로 현재 Lidar에는 해당 시간 정보가 있으므로 HPC는 이를 스탬프할 필요가 없습니다.) 레이저 감지 모듈 타임스탬프(일반적으로 원래 포인트 클라우드 정보는 Lidar 공급업체에 의해 처리되며 중앙 집중식 솔루션인 경우 프런트 엔드 포인트 클라우드 감지를 담당하는 HPC의 SOC, 감지 및 백엔드 융합을 위한 독점 SOC) 감지 결과는 수신을 위해 타임스탬프와 함께 다운스트림 모듈로 전송되며 여기에 마지막 타임스탬프가 찍혀야 합니다. 시간. 레이저 포인트 클라우드 감지의 경우 도메인 컨트롤러의 데이터 클럭은 주로 감지 알고리즘 설계에 사용되는 반면(이러한 알고리즘은 자동차 또는 클라우드에 있을 수 있음) 절대 시간은 주로 현지 시간을 포함하며 주로 데이터 기록 및 보관 서비스.

밀리미터파 레이더

​ 주로 전방 밀리미터파 레이더와 각도 밀리미터파 레이더를 말합니다.

일반적으로 전면 밀리미터파 레이더는 정보만 동기화하는 반면, 각 밀리미터파 레이더 그룹 자체에는 모든 정보를 추가로 동기화하는 주 레이더가 있습니다. 일반적으로 이전 세대의 자율 주행의 경우 밀리미터파 레이더 입력 데이터는 일반적으로 목표 수준 데이터를 사용하지만 차세대 도메인 컨트롤러가 중앙 집중식 솔루션을 채택한 후 3D 밀리미터파 레이더를 4D 밀리미터파 레이더로 업그레이드하면 밀리미터파 레이더 포인트 클라우드에 대한 요구가 점점 더 커지고 있습니다. 이 과정에서 밀리미터파 레이더에는 더 이상 연산 장치가 없고 단순히 포인트 클라우드 데이터만 입력하게 된다.

그러나 차세대 자율 주행 시스템을 위한 밀리미터파 레이더의 마이크로파 신호 처리의 높은 난이도로 인해 많은 OEM은 여전히 ​​직접 연결을 위해 목표 수준 데이터를 사용하고 있으며 시간 동기화 정확도는 일반적으로 더 넓은 범위를 요구합니다. LiDAR의 범위는 일반적으로 1ms 이내입니다. 포인트 클라우드 밀리미터파 레이더가 송신된 후 에코를 수신할 때까지의 시간이 타임스탬프로 표시되며 정확도는 1ms 이내가 필요합니다.

동시에 HPC와 밀리미터파 레이더는 1~2초의 주기 간격을 설정하여 동기화됩니다. 이 기간 동안 밀리미터파 레이더는 해당 시간을 실시간으로 업데이트합니다. 마찬가지로 도메인 컨트롤러는 밀리미터파 레이더 반환 시간을 기준으로 다음 5개 순간을 포함하는 기록 타임스탬프를 지원합니다.

에코 반사 지점 생성의 타임스탬프, 도메인 컨트롤러에 대한 에코 입력의 타임스탬프(물론 대상 수준 데이터 레코드의 경우) 밀리미터파 레이더에는 타임스탬프 정보가 있지만 Huawei는 더 이상 타임스탬프를 제공하지 않습니다. 밀리미터파 레이더가 출력하는 목표 정보는 원래 반사 지점을 클러스터링하고 필터링하여 얻습니다. 원본 아래 그림의 빨간색 부분과 같이 반사점이 생성된 순간의 타임스탬프입니다.

감지 결과는 전용 SOC/MCU로 전송되고 타임스탬프가 있는 다른 센서와 융합됩니다. 마찬가지로 도메인 컨트롤러의 데이터 시간(또는 로컬 시간)은 알고리즘 설계 작업에 사용되는 반면, 데이터 기록 및 저장 작업에는 절대 시간이 사용됩니다.

HPC는 스마트 카메라 및 레이더 패킷의 진입 순간에 해당하는 타임스탬프를 추가해야 하며, 특히 밀리미터파 레이더로 확인하기 위한 백업으로 사용할 수 있습니다. 각도 레이더는 시간 동기화 정보를 통해 각도 레이더가 목표물을 발사할 수 있는지 여부를 확인할 수 있습니다.

결합 관성 항법/독립 관성 항법 시스템

차세대 자율 주행 시스템에서는 OEM마다 서로 다른 유형의 관성 항법을 사용하며, 일반적으로 자체 기준에 따라 결합 관성 항법으로 구분됩니다. -연구 기능 유도형과 독립 관성 항법의 두 가지 유형이 있습니다. 결합 관성 항법에는 실제 적용 상황을 기반으로 위성-관성 결합 알고리즘이 내장되어 있으므로 여기서는 더 간단한 결합 관성 항법의 직접적인 연결만 설명합니다. HPC는 마스터 노드 마스터 역할을 하고, 통합 관성항법 시스템은 슬레이브 노드 역할을 하며, 100M 이더넷을 통해 통합 관성항법 시스템과 직접 연결됩니다.

그 중 이더넷은 여전히 ​​gPTP 프로토콜을 기반으로 합니다. HPC 동기화 시간 소스는 여전히 동기화를 위해 데이터 시계(즉, 절대 시간이 아닌 시스템 시간)를 사용합니다. 필요한 시간 동기화 정확도 요구 사항: 250마이크로초 이내의 동기화 기간은 동기화 정확도 요구 사항(예: 1밀리초 또는 125밀리초)의 정수배입니다. 이 기간 동안 결합된 관성 항법 타임스탬프는 RTK 및 IMU 정보를 기반으로 최신 IMU 샘플링을 기록합니다. 정확도는 1ms로 제한됩니다.

또한 IMU 샘플링, HPC 진입, 백엔드 융합 모듈 진입의 세 순간에 타임스탬프가 기록됩니다.

4 HPC 외부 네트워크 노드의 시간 동기화 프로세스

차세대 자율주행 시스템을 위해서는 내부 네트워크 노드 시간 동기화 외에도 System EPBi, 전자조향 시스템 EPS, 전력제어 시스템 VCU)가 모두 있습니다. 외부 정보 상호작용이 많다. 단계적 중앙 집중식 제어 방식을 살펴보면, 이러한 유형의 차량 제어 포트는 일반적으로 차량 컨트롤러 VDC를 통해 연결되고 동기식으로 제어됩니다. 위에서 언급한 것처럼 VDC는 실제로 다양한 도메인 컨트롤러에 정보를 전달하는 것 외에도 전체 동기화 타임스탬프를 정의하고 보내는 역할도 담당합니다. 전체 차량 시스템에 대해 전체 절대 시간은 자율주행 시스템의 도메인 컨트롤러 HPC에 연결된 GNSS/GPS에서 획득되기 때문입니다.

관련 시스템은 일반적으로 차량 도메인 제어 포트(VDC)를 통해 독립적인 시간 동기화 제어를 수행하므로 일반적으로 HPC와 ESP, EPS 및 VCU 간에 직접적인 마스터-슬레이브 노드 시간 동기화 관계가 없습니다. 명령어 실행 중에 각 타임스탬프가 VDC 컨트롤러로 직접 전송되고, 실행 중에 시간 정렬이 수행됩니다.

5 HPC 안전 이중화 제어 프로세스의 시간 동기화 프로세스

자율주행 시스템 전체에 걸쳐 시간 동기화 프로세스 중에 해당 오류 제어 로직을 계속 고려해야 합니다. AI 칩 SOC와 그 안에 포함된 로직 칩 MCU가 수행하는 다양한 기능을 고려합니다. 일반적으로 두 가지 모두 실패할 경우 서로 다른 시점에서 어느 정도 기능 저하가 발생합니다. 이러한 유형의 기능 저하를 부분 기능 저하라고 합니다. 부분적인 기능 저하 중에 SOC의 일부에 장애가 발생하면 MCU는 수정 발진기 유지 관리 시간을 통해 센서와 동기화됩니다. 이 기간 동안 레이더 및 기타 SOC가 전달한 카메라 대상 데이터 정보는 계속 수신될 수 있으며 출력 타임스탬프는 안정적으로 유지됩니다. 따라서 부분 기능 다운그레이드 후에도 시스템은 짧은 시간 내에 응답을 위해 원래 타임스탬프를 계속 사용할 것이며 MCU는 여전히 원래 시간 데이터의 안정성을 유지할 수 있습니다(시간 동기화 프로세스가 수행될 수 있음). MCU의 내부 클럭을 참조하여 출력) 기능의 작동을 지원합니다. 짧은 시간 안에는 오류가 매우 작기 때문에 이 기간 내에 시간을 동기화하지 못할 위험도 매우 적습니다.

물론 전체 HPC에 장애가 발생하는 경우 보안 제어를 위해 또 다른 백업 컨트롤러(HPC의 또 다른 로우 프로파일 버전일 수도 있고 추가 스마트 카메라 스마트 카메라일 수도 있음)가 필요합니다. 이 과정에서 백업 컨트롤러와 해당 센서 간의 시간 동기화 관계를 재설정해야 합니다.

또 다른 실패 모드는 전원 공급 장치 오류로 인한 기능 저하입니다. 여기서는 도메인 컨트롤러에는 깊은 절전 모드와 가벼운 절전 모드라는 두 가지 절전 모드가 있다는 점에 유의해야 합니다. 이 슬립 모드는 주로 전체 전원 공급을 차단할지 여부와 관련이 있습니다. 컨트롤러가 최대 절전 모드에 있는 경우 데이터 시계는 타이밍을 다시 조정하지 않고 마지막 전원 차단 시 저장된 관리 시계를 직접 사용합니다. 컨트롤러가 가벼운 절전 모드에 있는 경우 이 전원 끄기의 관리 시계가 타이밍에 직접 사용됩니다. 깊은 수면에 비해 얕은 수면 동기화의 시계 결과가 더 정확합니다. 물론, 수면이 아무리 깊거나 얕아도 이 기간 동안 컨트롤러 시계는 항상 유효하지 않으며 모든 소프트웨어가 정상적으로 실행될 수 없습니다. 물론, 얕은 잠에서 깊은 잠으로의 전체 전환 시간은 맞춤 설정할 수 있습니다(예: 12시간).

6 요약

이 기사에서는 차세대 자율 주행 시스템의 각 제어 장치의 시간 동기화 원리를 자세히 설명하고 로컬 네트워크 노드 동기화를 포함하는 동기화 프로세스에서 각 모듈의 정확도 요구 사항을 제시합니다. 글로벌 네트워크 노드 동기화. 그 중 로컬 네트워크 노드 동기화는 주로 자율주행 시스템 내부의 센서와 도메인 제어 간의 동기화 관계를 목표로 한다. 글로벌 네트워크 노드 동기화는 주로 자율주행 시스템과 외부 관련 시스템(예: 제동, 조향, 전원, 도어, 조명, 게이트웨이 제어 등) 간의 시간 동기화 관계를 목표로 합니다.

전체 계산 정확도를 위해서는 로컬 네트워크 노드 동기화가 중요합니다. 관련된 센서 장치가 많고 각각 실제 상황에 따라 해당하는 타임스탬프가 있어야 하며 궁극적으로 도메인 컨트롤러가 전체 동기화를 수행하기 때문입니다. 글로벌 네트워크 노드 동기화를 위해서는 각 하위 도메인 컨트롤러와 HPC 간의 정보 상호 작용을 참조하여 시간 정보를 간단하게 교환할 수 있습니다. 전체 시스템의 절대 시간은 일반적으로 HPC 또는 CSC에 의해 연결되고 입력될 수 있는 GNSS 시스템에서 나온다는 점에 유의해야 합니다.

위 내용은 자율주행 시스템을 위한 매우 포괄적인 시스템 시간 동기화 솔루션의 설계를 검토한 기사 1편의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!