下一代自動駕駛系統需要採用多雷射雷達、多毫米波雷達、多攝影機等各類感測器,感測器從擷取資料到處理到傳送到網域控制站內部,存在延時,且延時的時長不穩定。為了提升自動駕駛的感測器融合、決策規劃和融合定位等性能,自動駕駛高級域控制器HPC與其關聯的感測器均需要做時間同步,實際過程就是需要定義清楚感測器輸入資料的時間戳資訊(包括打時間戳的時刻及精度要求),同時也需要定義整體時間同步方案和同步精度要求。
1 概述
要講清楚時鐘同步原則需要先解釋清楚兩種時脈同步類型:資料時鐘和管理時鐘。
首先,整體上是組合慣導提供的UTC時間透過PPS GPRMC給予時間同步伺服器授時。此時間同步伺服器將對應的時間資訊通過PTP協定和中央網關,給予各類感測器資料擷取主機授時。 HPC則需要實現好內部SOC和MCU之間的時間同步過程。
HPC的SOC和MCU之間的資料面時間透過gPTP協定時間同步,其中SOC為主master;
HPC的SOC和MCU之間的管理面時間透過HPC私有協定進行同步,SOC為主Master,透過以太鏈路進行同步。
SOC和MCU同步過程中,管理時鐘和資料時鐘都會做同步,資料面用gPTP協議,在其時間同步精度要求250微妙內,管理時鐘用私有協議,也透過以太網,精度是10ms。其內部的管理時間和資料面時間就需要對齊,HPC要確保資料時鐘的連續性,不允許有異常跳變。因為異常跳變會造成很嚴重的資料誤傳和誤解析。
每次網域控制站冷啟動時,網域控制站會嘗試與提供主時鐘的節點持續進行一定時間(該時間可以根據實際情況按需標定)的通訊以進行初始同步。如果同步成功,則資料時鐘會採用目前管理時間,以同步取得到的絕對時間;對應的驅動程式可以隨其啟動,並呼叫對應的應用軟體進行運算。如果同步不成功 ,網域控制器會一直嘗試同步。
2 HPC與VDC的同步過程
#整個同步分類主要包括中央網域控制站與閘道、各類感測器及執行器之間的同步。 HPC的絕對時間通常透過中央網關CGW作為整車所有控制器提供統一時間源,將整體的同步時間戳輸出給所有關聯的控制器端(如車身域控制器PDC、整車域控制器VDC、座艙網域控制器CSC等)。在下一代自動駕駛系統架構中,整車域控制器VDC不僅承擔著控制整車執行器端運作的功能,還同時兼任著中央網關CGW的功能,承載著HPC與其他域控制器資訊交互與協議轉化的功能。
如下圖表示了自動駕駛控制器HPC與其關聯網域控制器的連接關係。
前述講到VDC可作為中央閘道功能,因此以HPC為中心的控制器間同步過程著重在於HPC與VDC之間的同步過程。透過VDC的資訊中轉可以實現各網域控制器之間的同步及通訊功能。各控制器主要透過乙太網路直連,採用基於乙太網路gPTP協定。 HPC與VDC的同步過程需要考慮與HPC直連的GNSS輸入絕對時間為主時鐘,此時間誤差比較小(通常在10ms內)。考慮智駕大數據雲端分析精度,及 gPTP協定精度通常要求在250微妙內,HPC和VDC定週期可採用其整數倍精度(如125毫秒)做同步。
3 HPC局部網路節點的同步過程
HPC局部網路節點同步過程是指其與感測器之間的同步過程。在自動駕駛私有內部網路皆以網域控制器為主節點Master,採用其對應的資料端時間做時間來源。 HPC透過局部內網單獨提供感測器(光達、毫米波雷達、行車攝影機、環景攝影機和組合慣導等)統一時間來源。過程中,分別透過乙太網路連接雷射雷達、組合慣導(預留1PPS),同時透過CANFD/乙太網路連接毫米波雷達、超音波盒PDC,並透過GSML/LVDS連接攝影機(包含行車/環景攝影機)。此類不同的網路連線形式皆作為從節點與網關做時間同步。
其中主要包含三大感測器如下:
#視覺感測器
以行車控制和停車控制的攝影機進行區分。
行車攝影機主要包括前視攝影機、側視攝影機、後視攝影機為代表,泊車攝影機主要指環景攝影機;採用集中式方案後的攝影機通常不再是一體機,而是簡單的感應器而已,輸入的是原始影像。
HPC和攝影機透過視訊資料線纜如GSML或LVDS進行資料傳輸,HPC利用其資料時脈(即係統時間,非絕對時間)作為時間來源,定時發送觸發訊號Trigger Signal給予鏡頭,相機基於即時觸發訊號調整曝光時刻。由於單相機內無法直接記錄對應的時間戳,因此使用多相機同步觸發的方式進行同步,並以記錄域控內的觸發訊號的時刻作為影像的初始時間戳。
相機其成像中間(如下計算方式)時刻打時間戳,且時間精度要求在10ms內。
Tmidtime影像中間=Ttrigger(觸發時刻) 1/2*Texposure(曝光時間);
如上公式中曝光時間是固定的。
由於觸發時刻位於整幀影像的曝光末尾,為了提高時間戳的精度,需要對曝光時長進行補償以獲取中間行曝光結束點時刻,來代表整幀影像的曝光中間時刻;通常會採用以下公式進行時間補償。
Tcompensate(補償時間)=每行長度×總行數/2
網域控制站記錄時刻包含如下5個時刻:相機成像中間時刻、影像進感知模組的時刻、影像感知結果進融合模組的時刻、感知融合結果發送時間、下游模組接收時刻。
雷射雷達
目前主要利用的是半固態雷射雷達。
HPC和雷射雷達通常也是基於乙太網路gPTP協定結合千兆乙太網路直連,HPC為主節點Master,雷射雷達為從節點Slave。 HPC同步時間源採用的是絕對時間(即係統時間)作為資料時鐘,時間同步精度要求仍舊是250微妙內。 HPC和光達採用同步時間精度的整數倍週期(例如可以是125毫秒、也可以是250ms)做同步,光達需要依照此同步流程即時更新時間。此外,光達需要在發出每幀點雲中每個點的時間作為感測器打時間戳的時刻要求(精度要求為1ms內)。
同樣,網域控制器需要基於雷射雷達返回時間記錄雷射點雲發送點時刻(即雷射雷達在接收到反射訊號時可以記錄到每個點的時刻);輸入域控制器時間戳(通常此時雷射雷達已帶有相應的時間信息,HPC則不用再打時間戳);激光感知模組時間戳(一般則由激光雷達供應商進行原始點雲信息處理,如果是集中式方案則由HPC中的SOC負責進行前端點雲感知,並由專有的SOC進行感知後端融合);感知結果帶上時間戳發送給下游模組接收;且此時需要打上最後一個時間戳。網域控制器的資料時鐘針對雷射點雲感知而言主要用於感知演算法設計(這類演算法可以是車端,也可以是雲端),而絕對時間主要涉及本地時間,主要用於資料記錄和儲存業務。
毫米波雷達
#主要指前毫米波雷達、角毫米波雷達。
通常前毫米波雷達會單獨對資訊進行同步,而角毫米波雷達群本身會存在一個主雷達對其所有的資訊進行進一步過程同步。通常以上一代自動駕駛來說,毫米波雷達輸入數據通常採用的是目標級數據,而下一代域控制器採用集中式方案後,對於將3D毫米波雷達更新換代為4D毫米波雷達,即直接處理毫米波雷達點雲的呼聲越來越高。這個過程中,毫米波雷達不再具備運算單元,而是簡單輸入點雲資料。
但由於毫米波雷達的微波訊號處理仍舊存在較高的難度,對於下一代自動駕駛系統來說,許多OEM仍舊採用目標級資料進行直連,時間同步精度通常要求叫光達更加寬泛些,通常為1ms以內。點雲毫米波雷達發出和收到回波的中間時刻作為標記打上時間戳,要求精度1ms內。
同時,HPC和毫米波雷達透過設定1-2秒的週期間隔進行同步,該時間段內毫米波雷達即時更新對應的時間。同樣的,網域控制站基於毫米波雷達返回時間支援記錄包含以下五個時刻的時間戳記:
#回波反射點產生時間戳記、回波輸入至網域控制站時間戳(當然對於目標級數據記錄,其毫米波雷達已帶時間戳信息,華為不再打時間戳);毫米波雷達輸出的目標物信息是由原始反射點聚類過濾得到,為了獲取更加精準的時間戳,通常需要獲得原始反射點生成時刻的時間戳,如下圖紅色部分。
感知結果發送專門SOC/MCU並與其他感測器做大融合時間戳。同樣的,網域控制器的資料時間(或本地時間)用於演算法設計運行,而絕對時間用於資料記錄和儲存業務。
HPC需要對智慧camera與radar的訊息需額外打上對應訊息進入時刻的時間戳,對資料進感知模組時時刻刻打時間戳,作為備份使用與毫米波雷達確認,尤其角雷達,透過時間同步資訊才能確定角雷達是否可發出目標。
組合慣用/獨立慣用系統
在下一代自動駕駛系統中,不同的OEM對於慣導使用的類型有所不同,通常根據其自研能力分為組合慣導和獨立慣導兩種類型。由於組合慣導內建衛慣組合演算法,根據實際應用情況,這裡我們只針對較為簡單的組合慣導的直連進行說明。 HPC作為主節點Master而組合慣導為從節點,經由100兆乙太網路與組合慣導直連。
其中,乙太網路仍舊是基於gPTP協定進行的。 HPC同步時間來源仍舊採用資料時鐘(即係統時間,非絕對時間)進行同步。要求時間同步精度要求:250微妙內,同步週期為同步精度要求的整數倍時間間隔(如1毫秒或125毫秒)。其間,組合慣導依RTK和IMU資訊基於最近一次IMU採樣,打時間戳。其精度限制在1ms內。
此外,IMU的取樣時刻、進入HPC時刻、進入後端融合模組這三個時刻都會被打上時間戳。
4 HPC外部網路節點的時間同步過程
#除開內部網路節點時間同步外,對於新世代自動駕駛系統來說,其與相關聯的執行器之間(如整合式煞車控制系統EPBi、電子轉向系統EPS、動力控制系統VCU)均存在大量外部資訊互動。參考階段性集中控制方式,這類整車控制埠通常透過整車控制器VDC進行連接與同步控制。如前述,VDC實際上亦可看成中央網關,除開對各類域控制器的訊息轉發外,其還承擔著整個同步時間戳的定義和發送。因為對於整車系統,整個絕對時間是自動駕駛系統的網域控制器HPC連接的GNSS/GPS所獲得的。
關聯繫統通常是透過整車域控制埠(VDC)進行單獨的時間同步控制,因此HPC和ESP、EPS、VCU之間通常是不存在直接的主從節點這類型的時間同步關係,而是在執行指令過程中直接將各自時間戳記發送給VDC控制器,在執行過程中進行時間對齊即可。
5 HPC安全冗餘控制過程中的時間同步過程
對於整個自動駕駛系統來說,在時間同步過程中仍舊需要考慮對應的失效控制邏輯。考慮其內所包含的AI晶片SOC和邏輯晶片MCU所承載的不同的功能。通常在兩者故障的不同時刻會存在一定程度的功能降級。這類功能降級我們稱之為局部功能降級。局部功能降級期間,若部分SOC失效時,MCU會透過晶振維護時間和感測器做同步。期間,仍可接收Radar及其餘SOC傳遞過來的攝影機目標資料訊息,並保持輸出時間戳記的穩定。因此,可以說局部功能降級後系統在短時間內仍舊使用原時間戳做應對,MCU仍可保持原時間資料穩定(其時間同步過程可參考MCU中的管裡面時鐘進行),支援功能的運作。因為短時間內誤差很小,所以該時間內不做時間同步風險也很小。
當然,如果整個HPC失效,則需要另一個備份控制器(可以是另一個低配版本的HPC,也可以是額外增加的智慧攝影機Smart Camera)進行安全控制。此過程中,則需要重新建立此備份控制器與對應感測器之間的時間同步關係。
另外一種失效模式為供電失效所造成的功能降級。這裡需要說明,網域控制器存在兩種睡眠模式:深度睡眠和淺度睡眠。此睡眠模式主要與是否掐住整體供電有關。如果控制器處於深睡眠,則資料時鐘直接使用上一次下電時儲存的管理時鐘,不再重新計時。如果控制器處於淺睡眠,則直接利用本次下電的管理時鐘進行計時。相對於深度睡眠來說,淺睡眠同步的時鐘結果更準確。當然無論睡眠深淺,此時間段內控制器時脈始終是無效的,且各軟體均無法正常運作。當然,由於整個淺睡眠轉化到深睡眠的時間是可以自訂的(如12小時)。
6 總結
本文詳細的解釋了下一代自動駕駛系統的各個控制單元的時間同步原理,並對同步過程中的各個模組提出了精度要求,涉及局部網路節點同步、全域網路節點同步。其中,局部網路節點同步主要是針對自動駕駛系統內部的感測器與域控之間的同步關係。全域網路節點同步主要是針對自動駕駛系統與外部關聯繫統(如控制煞車、轉向、動力、車門、車燈、閘道等)進行的時間同步關係。
對於整體運算精度而言,局部網路節點同步是至關重要的,因為涉及的感測器單元比較多,需要各自針對自身實際情況打上對應的時間戳,並最終由域控進行總同步。全域網路節點同步則實際參照各分域控與HPC之間的資訊互動簡單的進行時間資訊交換即可。這裡要注意的是,整體系統的絕對時間都來自於GNSS系統,通常可由HPC或CSC進行連接輸入。
#以上是一文盤點自動駕駛系統超全的系統時間同步方案設計的詳細內容。更多資訊請關注PHP中文網其他相關文章!

arXiv论文“Insertion of real agents behaviors in CARLA autonomous driving simulator“,22年6月,西班牙。由于需要快速prototyping和广泛测试,仿真在自动驾驶中的作用变得越来越重要。基于物理的模拟具有多种优势和益处,成本合理,同时消除了prototyping、驾驶员和弱势道路使用者(VRU)的风险。然而,主要有两个局限性。首先,众所周知的现实差距是指现实和模拟之间的差异,阻碍模拟自主驾驶体验去实现有效的现实世界

特斯拉是一个典型的AI公司,过去一年训练了75000个神经网络,意味着每8分钟就要出一个新的模型,共有281个模型用到了特斯拉的车上。接下来我们分几个方面来解读特斯拉FSD的算法和模型进展。01 感知 Occupancy Network特斯拉今年在感知方面的一个重点技术是Occupancy Network (占据网络)。研究机器人技术的同学肯定对occupancy grid不会陌生,occupancy表示空间中每个3D体素(voxel)是否被占据,可以是0/1二元表示,也可以是[0, 1]之间的

当前主流的AI芯片主要分为三类,GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构,属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算,但是在AI应用领域也是必不可少。 GPU方案GPU与CPU的架构对比CPU遵循的是冯·诺依曼架构,其核心是存储程序/数据、串行顺序执行。因此CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以CPU在进行大规模并行计算

gPTP定义的五条报文中,Sync和Follow_UP为一组报文,周期发送,主要用来测量时钟偏差。 01 同步方案激光雷达与GPS时间同步主要有三种方案,即PPS+GPRMC、PTP、gPTPPPS+GPRMCGNSS输出两条信息,一条是时间周期为1s的同步脉冲信号PPS,脉冲宽度5ms~100ms;一条是通过标准串口输出GPRMC标准的时间同步报文。同步脉冲前沿时刻与GPRMC报文的发送在同一时刻,误差为ns级别,误差可以忽略。GPRMC是一条包含UTC时间(精确到秒),经纬度定位数据的标准格

2 月 16 日消息,特斯拉的新自动驾驶计算机,即硬件 4.0(HW4)已经泄露,该公司似乎已经在制造一些带有新系统的汽车。我们已经知道,特斯拉准备升级其自动驾驶硬件已有一段时间了。特斯拉此前向联邦通信委员会申请在其车辆上增加一个新的雷达,并称计划在 1 月份开始销售,新的雷达将意味着特斯拉计划更新其 Autopilot 和 FSD 的传感器套件。硬件变化对特斯拉车主来说是一种压力,因为该汽车制造商一直承诺,其自 2016 年以来制造的所有车辆都具备通过软件更新实现自动驾驶所需的所有硬件。事实证

arXiv论文“Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline“, 2022年6月,上海AI实验室和上海交大。当前的端到端自主驾驶方法要么基于规划轨迹运行控制器,要么直接执行控制预测,这跨越了两个研究领域。鉴于二者之间潜在的互利,本文主动探索两个的结合,称为TCP (Trajectory-guided Control Prediction)。具

什么是交通标志识别系统?汽车安全系统的交通标志识别系统,英文翻译为:Traffic Sign Recognition,简称TSR,是利用前置摄像头结合模式,可以识别常见的交通标志 《 限速、停车、掉头等)。这一功能会提醒驾驶员注意前面的交通标志,以便驾驶员遵守这些标志。TSR 功能降低了驾驶员不遵守停车标志等交通法规的可能,避免了违法左转或者无意的其他交通违法行为,从而提高了安全性。这些系统需要灵活的软件平台来增强探测算法,根据不同地区的交通标志来进行调整。交通标志识别原理交通标志识别又称为TS

定位在自动驾驶中占据着不可替代的地位,而且未来有着可期的发展。目前自动驾驶中的定位都是依赖RTK配合高精地图,这给自动驾驶的落地增加了不少成本与难度。试想一下人类开车,并非需要知道自己的全局高精定位及周围的详细环境,有一条全局导航路径并配合车辆在该路径上的位置,也就足够了,而这里牵涉到的,便是SLAM领域的关键技术。什么是SLAMSLAM (Simultaneous Localization and Mapping),也称为CML (Concurrent Mapping and Localiza


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

SublimeText3 英文版
推薦:為Win版本,支援程式碼提示!

SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

Dreamweaver Mac版
視覺化網頁開發工具

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3 Linux新版
SublimeText3 Linux最新版