기사에서는 LiDAR와 카메라 보정의 타임스탬프 동기화 문제에 대해 설명합니다.

01 카메라 기능 - 노출 및 판독

이미지 프레임을 획득하는 카메라는 노출과 판독의 두 단계로 구분됩니다. 카메라가 사용하는 센서에 따라 카메라의 노출 시간과 판독 시간의 중첩 관계도 달라지는데, 이는 중첩 노출과 비중첩 노출로 나눌 수 있습니다.

겹치지 않는 노출에 비해 노출을 겹치면 노출 시간이 드로잉 시간에 미치는 영향을 줄일 수 있습니다.

재작성된 문장: 현재 프레임의 노출 및 판독이 완료된 후 다음 프레임의 노출 및 판독이 수행됩니다. 이는 중첩되지 않는 노출입니다. 비중첩 노출 프레임 기간은 노출 시간과 프레임 판독 시간의 합보다 큽니다.

내부 트리거 모드 비중첩 노출

겹침 노출은 현재 프레임의 노출이 이전 프레임, 즉 다음 프레임의 판독 과정과 부분적으로 겹치는 것을 의미합니다. 이전 프레임의 판독이 아직 진행 중인 동안 노출이 시작되었습니다. 중첩 노출 프레임 기간은 노출 시간과 프레임 판독 시간의 합보다 작거나 같습니다.

내부 트리거 모드 중복 노출

예! 이전 단락의 목적은 다음 설명에서 현재 프레임의 노출 시간이 이전 프레임의 판독 시간과 겹치는지 여부에 놀라지 마십시오.

02 이미지 획득: 트리거 모드(외부 입력)

카메라의 트리거 모드는 내부 트리거 모드와 외부 트리거 모드의 두 가지 유형으로 구분됩니다.

내부 트리거 모드: 카메라는 장치 내부에 제공된 신호를 통해 이미지를 수집합니다.

외부 트리거 모드: 카메라는 외부 신호를 통해 이미지를 수집합니다. 소프트 트리거와 하드웨어 트리거는 외부 신호의 두 가지 주요 형태입니다. 외부 신호는 소프트웨어 신호일 수도 있고 하드웨어 신호일 수도 있습니다. 외부 트리거 모드는 그림과 같습니다.

외부 트리거 모드

소프트 트리거: 트리거 신호는 소프트웨어에 의해 전송됩니다(카메라에서 제공하는 API 인터페이스를 사용할 수도 있음). 소프트 트리거용 SDK).

하드웨어 트리거를 사용하는 경우 카메라는 I/O 인터페이스를 통해 외부 장치에 연결되고 외부 장치로부터 트리거 펄스 신호를 수신하여 이미지를 수집합니다. 실제로 카메라의 내부 레지스터를 직접 읽고 씁니다. 아래 그림은 Hikvision 카메라 전원 IO의 6핀 케이블입니다.

Hikvision 카메라 전원 및 IO 인터페이스(6핀 Hirose )

그 중 Hikvision 카메라에는 옵토커플러 절연 입력 Line0+ 1개와 구성 가능한 입력 및 출력 Line2+ 1개가 있으며, 그 중 하나를 입력 신호로 선택할 수 있습니다.

03 트리거 출력

카메라의 트리거 출력 신호는 스위치 신호로 알람 조명, 광원, PLC 등 외부 장치를 제어하는 ​​데 사용할 수 있습니다. 트리거 출력 신호는 스트로브 신호를 통해 실현될 수 있습니다.

카메라가 노출되면 즉시 높은 유효 레벨의 스트로브 신호를 생성합니다. 다음에서는 주로 이 신호를 사용하여 Lidar와 같은 다른 센서에 대한 하드 트리거링을 수행합니다. 스트로브 사전 출력이라는 개념이 있습니다. 스트로브 신호는 노출보다 먼저 적용됩니다. 작동 원리는 노출을 지연하고 스트로브 출력을 먼저 수행하는 것입니다. 이 기능은 반응이 느린 외부기기에 적용할 수 있습니다. 스트로브 사전 출력 타이밍이 그림에 나와 있습니다. (지연 노출이 필요한 이유에 대해서는 나중에 이야기하겠습니다).

스트로브 신호 사전 출력 타이밍

이제 주제로 돌아가서 이제 속도가 빨라질 것입니다.

카메라와 LiDAR 타임스탬프를 동기화하는 세 가지 주요 방법은 하드 트리거링, 소프트 트리거링, 소프트 트리거링과 하드 트리거입니다. 아래에서는 손으로 그린 ​​개략도 형식으로 하나씩 소개하겠습니다.

먼저 하드 트리거링에 대해 이야기해 보겠습니다. MCU는 3개의 센서 장치를 하드 트리거하기 위해 펄스 신호를 생성합니다.

소프트 트리거 + 하드 트리거의 경우 먼저 카메라 SDK의 API를 사용하여 카메라를 소프트 트리거한 다음 카메라의 외부 트리거 신호 Strobe를 사용하여 레이더와 같은 다른 센서에 대해 하드 트리거를 수행할 수 있습니다. 그리고 카메라.

여기서 주목해야 할 문제가 있습니다. 소프트 트리거된 첫 번째 카메라가 노출과 동시에 스트로브 신호를 방출하면 하드 트리거된 다른 센서는 항상 스트로브 신호를 방출합니다. 한 단계 늦어서 완전히 동기화할 수 없습니다. 따라서 기존에 제안된 사전 출력 스트로브 개념, 즉 지연 노출 이전에 스트로브 출력이 수행되는 개념을 도입한다.

이 모드를 구성할 때 다음 네 가지 사항에 주의하세요.

1. 상승 에지 또는 하강 에지 트리거링 방법
2. 유효 레벨 폭, 레벨 진폭, Lidar를 트리거할 수 있는 가장 낮은 진폭을 알아야 합니다. ;
3. 양측의 레벨 신호가 동일한지, 3v 또는 5v를 높여야 하는지 여부;
4. 마지막으로 권장되지 않는 소프트 트리거에 대해 이야기해 보겠습니다.

API 작업에 대한 첫 번째 호출은 하드 트리거(센서 내부 레지스터에 대한 직접 읽기 및 쓰기 작업)보다 확실히 느립니다. API(1)는 두 번째 명령 API(2)를 실행하기 전에 이미 시간이 좀 걸렸습니다.

<code>//读取lidar和image数据的线程1while(1){API(1); //软触发第一个sensorAPI(2); //软触发第二个sensor//假设脉冲周期为0.5s}//处理数据线程2for(i=0;i<nimage gettickcount t1 gettickfrequency></nimage></code>

단일 데이터 프레임을 처리하는 데 필요한 시간이 0.5초를 초과하면 스레드 1이 다음 데이터 프레임을 읽어 스레드 2의 데이터가 엉망이 됩니다. 스레드 2는 0.5초 이내에 단일 프레임 처리를 완료해야 하며 각 프레임(1/fps - 현재 프레임 처리 시간) 이후 기다려야 합니다.

위 내용은 기사에서는 LiDAR와 카메라 보정의 타임스탬프 동기화 문제에 대해 설명합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!