昨天面試被問到了是否做過長尾相關的問題,所以就想著簡單總結一下。
自動駕駛長尾問題是指自動駕駛汽車中的邊緣情況,即發生機率較低的可能場景。感知的長尾問題是目前限制單車智慧自動駕駛車輛運行設計域的主要原因之一。自動駕駛的底層架構和大部分技術問題已經解決,剩下的5%的長尾問題,逐漸成了限制自動駕駛發展的關鍵。這些問題包括各種零碎的場景、極端的情況和無法預測的人類行為。
自動駕駛中的邊緣場景
"長尾"是指自動駕駛汽車(AV)中的邊緣情況,邊緣情況是發生機率較低的可能場景。這些罕見的事件因為出現率較低且比較特殊,因此在資料集中經常被遺漏。 雖然人類天生擅長處理邊緣情況,但人工智慧卻不是這樣。可能引起邊緣場景的因素有:有突起的卡車或異形車輛、車輛急轉彎、在擁擠的人群中行駛、亂穿馬路的行人、極端天氣或極差光照條件、打傘的人,人在車後搬箱子、樹倒在路中央等等。
例子:
- 放透明薄膜在車前,透明物體是否可以被識別,車輛是否會減速
- 雷射雷達公司Aeye做了一個挑戰,自動駕駛如何處理一個漂浮在路中央的氣球。 L4級無人駕駛汽車往往偏向避免碰撞,在這種情況下,它們會採取規避動作或踩剎車,來避免不必要的事故。而氣球是個軟性的物體,可以直接無障礙的通過。
解決長尾問題的方法
合成資料是個大概念,而感知資料(nerf, camera/sensor sim)只是其中一個比較出眾的分支。在業界,合成資料在longtail behavior sim早已成為標準答案。合成數據,或說sparse signal upsampling是解決長尾問題的第一性解法之一。長尾能力是模型泛化能力與資料內含資訊量的乘積。
特斯拉解決方案:
用合成資料(synthetic data)產生邊緣場景來擴充資料集
資料引擎的原理:首先,檢測現有模型中的不準確之處,隨後將此類案例添加到其單元測試中。它還收集更多類似案例的數據來重新訓練模型。這種迭代方法允許它捕捉盡可能多的邊緣情況。製作邊緣案例的主要挑戰是收集和標註邊緣情況的成本比較高,再一個就是收集行為有可能非常危險甚至無法實現。
NVIDIA解決方案:
NVIDIA最近提出了一種名為「模仿訓練」的策略方法(下圖)。在這種方法中,真實世界中的系統故障案例在模擬環境中被重現,然後將它們用作自動駕駛汽車的訓練資料。重複此循環,直到模型的效能收斂。 這種方法的目標是透過不斷模擬故障場景來提高自動駕駛系統的穩健性。模擬訓練使得開發者能夠更好地了解和解決現實世界中不同的故障情況。此外,它還可以快速產生大量的訓練數據,以便改善模型的效能。 透過重複這個循環,
以下實際場景中由於卡車高度過高(上)、車輛凸出部分遮擋後車(下)導致模型輸出時車框遺失,成為邊緣場景,透過NVIDIA改進後的模型可以在此邊緣情況下產生正確的邊界框。
一些思考:
Q:合成資料是否有價值?
A: 這裡的價值分為兩種, 第一種是測試有效性, 即在生成的場景中測試是否能發現探測演算法中的一些不足, 第二種是訓練有效性, 即產生的場景用於演算法的訓練是否也能夠有效提升效能。
Q: 如何使用虛擬資料提升效能?虛擬資料真的有必要加入訓練集中去嗎?加進去了是否會產生效能回退?
A: 這些問題都很難回答, 於是產生了許多不一樣的提升訓練精準度的方案:
- 混合訓練:在真實數據中添加不同比例的虛擬數據, 以求性能提升,
- Transfer Learning:使用真實數據預訓練好的模型,然後Freeze 某些layer, 再新增混合資料進行訓練。
- Imitation Learning: 針對性設計一些模型失誤的場景, 並由此產生一些數據,進而逐步提升模型的性能, 這一點也是非常自然的。在實際的數據收集和模型訓練中, 也是針對性採集一些補充數據, 進而提升性能。
一些擴充:
為了徹底評估 AI 系統的穩健性,單元測試必須包括一般情況和邊緣情況。然而,某些邊緣案例可能無法從現有的真實世界資料集中獲得。為此,人工智慧從業者可以使用合成數據進行測試。
一個例子是ParallelEye-CS,這是用於測試自動駕駛汽車視覺智慧的合成資料集。與使用真實世界資料相比,創建合成資料的好處是可以對每個影像的場景進行多維度控制。
合成資料將作為生產 AV 模型中邊緣情況的可行解決方案。它用邊緣案例補充現實世界的資料集,確保 AV 即使在異常事件下也能保持穩健。它也比真實世界的數據更具可擴展性,更不容易出錯,而且更便宜。
以上是自動駕駛場景中的長尾問題怎麼解決?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

科學家已經廣泛研究了人類和更簡單的神經網絡(如秀麗隱桿線蟲中的神經網絡),以了解其功能。 但是,出現了一個關鍵問題:我們如何使自己的神經網絡與新穎的AI一起有效地工作

Google的雙子座高級:新的訂閱層即將到來 目前,訪問Gemini Advanced需要$ 19.99/月Google One AI高級計劃。 但是,Android Authority報告暗示了即將發生的變化。 最新的Google P中的代碼

儘管圍繞高級AI功能炒作,但企業AI部署中潛伏的巨大挑戰:數據處理瓶頸。首席執行官慶祝AI的進步時,工程師努力應對緩慢的查詢時間,管道超載,一個

處理文檔不再只是在您的AI項目中打開文件,而是將混亂變成清晰度。諸如PDF,PowerPoints和Word之類的文檔以各種形狀和大小淹沒了我們的工作流程。檢索結構化

利用Google的代理開發套件(ADK)的力量創建具有現實世界功能的智能代理!該教程通過使用ADK來構建對話代理,並支持Gemini和GPT等各種語言模型。 w

摘要: 小型語言模型 (SLM) 專為效率而設計。在資源匱乏、實時性和隱私敏感的環境中,它們比大型語言模型 (LLM) 更勝一籌。 最適合專注型任務,尤其是在領域特異性、控制性和可解釋性比通用知識或創造力更重要的情況下。 SLM 並非 LLMs 的替代品,但在精度、速度和成本效益至關重要時,它們是理想之選。 技術幫助我們用更少的資源取得更多成就。它一直是推動者,而非驅動者。從蒸汽機時代到互聯網泡沫時期,技術的威力在於它幫助我們解決問題的程度。人工智能 (AI) 以及最近的生成式 AI 也不例

利用Google雙子座的力量用於計算機視覺:綜合指南 領先的AI聊天機器人Google Gemini擴展了其功能,超越了對話,以涵蓋強大的計算機視覺功能。 本指南詳細說明瞭如何利用

2025年的AI景觀正在充滿活力,而Google的Gemini 2.0 Flash和Openai的O4-Mini的到來。 這些尖端的車型分開了幾週,具有可比的高級功能和令人印象深刻的基準分數。這個深入的比較


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

DVWA
Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

EditPlus 中文破解版
體積小,語法高亮,不支援程式碼提示功能

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SecLists
SecLists是最終安全測試人員的伙伴。它是一個包含各種類型清單的集合,這些清單在安全評估過程中經常使用,而且都在一個地方。 SecLists透過方便地提供安全測試人員可能需要的所有列表,幫助提高安全測試的效率和生產力。清單類型包括使用者名稱、密碼、URL、模糊測試有效載荷、敏感資料模式、Web shell等等。測試人員只需將此儲存庫拉到新的測試機上,他就可以存取所需的每種類型的清單。

記事本++7.3.1
好用且免費的程式碼編輯器