搜尋
首頁科技週邊人工智慧自動駕駛場景中的長尾問題怎麼解決?

昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。

自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。

自動駕駛中的邊緣場景

"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件因為出現率較低且比較特殊,因此在資料集中經常被遺漏。 雖然人類天生擅長處理邊緣情況,但人工智慧卻不是這樣。可能引起邊緣場景的因素有:有突起的卡車或異形車輛、車輛急轉彎、在擁擠的人群中行駛、亂穿馬路的行人、極端天氣或極差光照條件、打傘的人,人在車後搬箱子、樹倒在路中央等等。

例子:

  1. 放透明薄膜在車前,透明物體是否可以被識別,車輛是否會減速
  2. 雷射雷達公司Aeye做了一個挑戰,自動駕駛如何處理一個漂浮在路中央的氣球。 L4級無人駕駛汽車往往偏向避免碰撞,在這種情況下,它們會採取規避動作或踩剎車,來避免不必要的事故。而氣球是個軟性的物體,可以直接無障礙的通過。

解決長尾問題的方法

合成資料是個大概念,而感知資料(nerf, camera/sensor sim)只是其中一個比較出眾的分支。在業界,合成資料在longtail behavior sim早已成為標準答案。合成數據,或說sparse signal upsampling是解決長尾問題的第一性解法之一。長尾能力是模型泛化能力與資料內含資訊量的乘積。

特斯拉解決方案:

用合成資料(synthetic data)產生邊緣場景來擴充資料集
資料引擎的原理:首先,檢測現有模型中的不準確之處,隨後將此類案例添加到其單元測試中。它還收集更多類似案例的數據來重新訓練模型。這種迭代方法允許它捕捉盡可能多的邊緣情況。製作邊緣案例的主要挑戰是收集和標註邊緣情況的成本比較高,再一個就是收集行為有可能非常危險甚至無法實現。

NVIDIA解決方案:

NVIDIA最近提出了一種名為「模仿訓練」的策略方法(下圖)。在這種方法中,真實世界中的系統故障案例在模擬環境中被重現,然後將它們用作自動駕駛汽車的訓練資料。重複此循環,直到模型的效能收斂。 這種方法的目標是透過不斷模擬故障場景來提高自動駕駛系統的穩健性。模擬訓練使得開發者能夠更好地了解和解決現實世界中不同的故障情況。此外,它還可以快速產生大量的訓練數據,以便改善模型的效能。 透過重複這個循環,

自動駕駛場景中的長尾問題怎麼解決?

以下實際場景中由於卡車高度過高(上)、車輛凸出部分遮擋後車(下)導致模型輸出時車框遺失,成為邊緣場景,透過NVIDIA改進後的模型可以在此邊緣情況下產生正確的邊界框。

自動駕駛場景中的長尾問題怎麼解決?

一些思考:

Q:合成資料是否有價值?

A: 這裡的價值分為兩種, 第一種是測試有效性, 即在生成的場景中測試是否能發現探測演算法中的一些不足, 第二種是訓練有效性, 即產生的場景用於演算法的訓練是否也能夠有效提升效能。

Q: 如何使用虛擬資料提升效能?虛擬資料真的有必要加入訓練集中去嗎?加進去了是否會產生效能回退?

A: 這些問題都很難回答, 於是產生了許多不一樣的提升訓練精準度的方案:

  • 混合訓練:在真實數據中添加不同比例的虛擬數據, 以求性能提升,
  • Transfer Learning:使用真實數據預訓練好的模型,然後Freeze 某些layer, 再新增混合資料進行訓練。
  • Imitation Learning: 針對性設計一些模型失誤的場景, 並由此產生一些數據,進而逐步提升模型的性能, 這一點也是非常自然的。在實際的數據收集和模型訓練中, 也是針對性採集一些補充數據, 進而提升性能。

一些擴充:

為了徹底評估 AI 系統的穩健性,單元測試必須包括一般情況和邊緣情況。然而,某些邊緣案例可能無法從現有的真實世界資料集中獲得。為此,人工智慧從業者可以使用合成數據進行測試。

一個例子是ParallelEye-CS,這是用於測試自動駕駛汽車視覺智慧的合成資料集。與使用真實世界資料相比,創建合成資料的好處是可以對每個影像的場景進行多維度控制。

合成資料將作為生產 AV 模型中邊緣情況的可行解決方案。它用邊緣案例補充現實世界的資料集,確保 AV 即使在異常事件下也能保持穩健。它也比真實世界的數據更具可擴展性,更不容易出錯,而且更便宜。

#

以上是自動駕駛場景中的長尾問題怎麼解決?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
在 CARLA自动驾驶模拟器中添加真实智体行为在 CARLA自动驾驶模拟器中添加真实智体行为Apr 08, 2023 pm 02:11 PM

arXiv论文“Insertion of real agents behaviors in CARLA autonomous driving simulator“,22年6月,西班牙。由于需要快速prototyping和广泛测试,仿真在自动驾驶中的作用变得越来越重要。基于物理的模拟具有多种优势和益处,成本合理,同时消除了prototyping、驾驶员和弱势道路使用者(VRU)的风险。然而,主要有两个局限性。首先,众所周知的现实差距是指现实和模拟之间的差异,阻碍模拟自主驾驶体验去实现有效的现实世界

特斯拉自动驾驶算法和模型解读特斯拉自动驾驶算法和模型解读Apr 11, 2023 pm 12:04 PM

特斯拉是一个典型的AI公司,过去一年训练了75000个神经网络,意味着每8分钟就要出一个新的模型,共有281个模型用到了特斯拉的车上。接下来我们分几个方面来解读特斯拉FSD的算法和模型进展。01 感知 Occupancy Network特斯拉今年在感知方面的一个重点技术是Occupancy Network (占据网络)。研究机器人技术的同学肯定对occupancy grid不会陌生,occupancy表示空间中每个3D体素(voxel)是否被占据,可以是0/1二元表示,也可以是[0, 1]之间的

一文通览自动驾驶三大主流芯片架构一文通览自动驾驶三大主流芯片架构Apr 12, 2023 pm 12:07 PM

当前主流的AI芯片主要分为三类,GPU、FPGA、ASIC。GPU、FPGA均是前期较为成熟的芯片架构,属于通用型芯片。ASIC属于为AI特定场景定制的芯片。行业内已经确认CPU不适用于AI计算,但是在AI应用领域也是必不可少。 GPU方案GPU与CPU的架构对比CPU遵循的是冯·诺依曼架构,其核心是存储程序/数据、串行顺序执行。因此CPU的架构中需要大量的空间去放置存储单元(Cache)和控制单元(Control),相比之下计算单元(ALU)只占据了很小的一部分,所以CPU在进行大规模并行计算

自动驾驶汽车激光雷达如何做到与GPS时间同步?自动驾驶汽车激光雷达如何做到与GPS时间同步?Mar 31, 2023 pm 10:40 PM

gPTP定义的五条报文中,Sync和Follow_UP为一组报文,周期发送,主要用来测量时钟偏差。 01 同步方案激光雷达与GPS时间同步主要有三种方案,即PPS+GPRMC、PTP、gPTPPPS+GPRMCGNSS输出两条信息,一条是时间周期为1s的同步脉冲信号PPS,脉冲宽度5ms~100ms;一条是通过标准串口输出GPRMC标准的时间同步报文。同步脉冲前沿时刻与GPRMC报文的发送在同一时刻,误差为ns级别,误差可以忽略。GPRMC是一条包含UTC时间(精确到秒),经纬度定位数据的标准格

特斯拉自动驾驶硬件 4.0 实物拆解:增加雷达,提供更多摄像头特斯拉自动驾驶硬件 4.0 实物拆解:增加雷达,提供更多摄像头Apr 08, 2023 pm 12:11 PM

2 月 16 日消息,特斯拉的新自动驾驶计算机,即硬件 4.0(HW4)已经泄露,该公司似乎已经在制造一些带有新系统的汽车。我们已经知道,特斯拉准备升级其自动驾驶硬件已有一段时间了。特斯拉此前向联邦通信委员会申请在其车辆上增加一个新的雷达,并称计划在 1 月份开始销售,新的雷达将意味着特斯拉计划更新其 Autopilot 和 FSD 的传感器套件。硬件变化对特斯拉车主来说是一种压力,因为该汽车制造商一直承诺,其自 2016 年以来制造的所有车辆都具备通过软件更新实现自动驾驶所需的所有硬件。事实证

端到端自动驾驶中轨迹引导的控制预测:一个简单有力的基线方法TCP端到端自动驾驶中轨迹引导的控制预测:一个简单有力的基线方法TCPApr 10, 2023 am 09:01 AM

arXiv论文“Trajectory-guided Control Prediction for End-to-end Autonomous Driving: A Simple yet Strong Baseline“, 2022年6月,上海AI实验室和上海交大。当前的端到端自主驾驶方法要么基于规划轨迹运行控制器,要么直接执行控制预测,这跨越了两个研究领域。鉴于二者之间潜在的互利,本文主动探索两个的结合,称为TCP (Trajectory-guided Control Prediction)。具

一文聊聊自动驾驶中交通标志识别系统一文聊聊自动驾驶中交通标志识别系统Apr 12, 2023 pm 12:34 PM

什么是交通标志识别系统?汽车安全系统的交通标志识别系统,英文翻译为:Traffic Sign Recognition,简称TSR,是利用前置摄像头结合模式,可以识别常见的交通标志 《 限速、停车、掉头等)。这一功能会提醒驾驶员注意前面的交通标志,以便驾驶员遵守这些标志。TSR 功能降低了驾驶员不遵守停车标志等交通法规的可能,避免了违法左转或者无意的其他交通违法行为,从而提高了安全性。这些系统需要灵活的软件平台来增强探测算法,根据不同地区的交通标志来进行调整。交通标志识别原理交通标志识别又称为TS

一文聊聊SLAM技术在自动驾驶的应用一文聊聊SLAM技术在自动驾驶的应用Apr 09, 2023 pm 01:11 PM

定位在自动驾驶中占据着不可替代的地位,而且未来有着可期的发展。目前自动驾驶中的定位都是依赖RTK配合高精地图,这给自动驾驶的落地增加了不少成本与难度。试想一下人类开车,并非需要知道自己的全局高精定位及周围的详细环境,有一条全局导航路径并配合车辆在该路径上的位置,也就足够了,而这里牵涉到的,便是SLAM领域的关键技术。什么是SLAMSLAM (Simultaneous Localization and Mapping),也称为CML (Concurrent Mapping and Localiza

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

EditPlus 中文破解版

EditPlus 中文破解版

體積小,語法高亮,不支援程式碼提示功能

VSCode Windows 64位元 下載

VSCode Windows 64位元 下載

微軟推出的免費、功能強大的一款IDE編輯器

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

強大的PHP整合開發環境