搜尋
首頁科技週邊人工智慧效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

標註之殤

靜態物體偵測(SOD),包括交通號誌、導向卡和交通錐,大多數演算法是資料驅動深度神經網絡,需要大量的訓練資料。現在的做法通常是對大量的訓練樣本在 LiDAR 掃描的點雲資料上進行手動標註,以修復長尾案例。

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

手動標註難以捕捉真實場景的變異性和複雜性,通常無法考慮遮蔽、不同的光照條件和多樣的視角(如圖1的黃色箭頭) 。 整個製程鏈路長、極度耗時、容易出錯、成本相當高(如圖2)。 所以目前公司都尋求自動標註方案,特別是基於純視覺,畢竟不是每輛車都有光達。

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

VRSO 是一種以視覺為主、面向靜態物件標註的標註系統,主要利用了SFM、2D物件偵測和實例分割結果的訊息,整體效果:

  • 標註的平均投影誤差僅2.6像素,約為Waymo標註的四分之一(10.6像素)
  • 與人工標註相比,速度提高了約16倍

對於靜態物體,VRSO透過實例分割和輪廓提取關鍵點,解決了從不同視角整合和去重靜態物件的挑戰,以及由於遮蔽問題而導致觀察不足的困難,從而提高了標註的準確性。 從圖1上看,與Waymo Open資料集的手動標註結果相比,VRSO展示了更高的穩健性和幾何精度。

(都看到這裡了,不如大拇指往上滑,點擊最上方的卡片關注我,整個操作只會花你1.328 秒,然後帶走未來所有乾貨,萬一有用呢~

破局之法

VRSO系統主要分為兩部分:場景重建靜態物件標註

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

重建部分不是重點,就是基於 SFM 演算法來恢復圖片 pose 和稀疏的 3D 關鍵點。

靜態物件標註演算法,配合偽代碼,大致流程是(以下會分步驟詳細展開):

  • 採用現成的2D物件偵測與分割演算法產生候選
  • 利用SFM 模型中的3D-2D 關鍵點對應關係來追蹤跨幀的2D 實例
  • 引入重投影一致性來優化靜態物件的3D註解參數

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

1.追蹤關聯

  • step 1:根據SFM 模型的關鍵點提取3D 邊界框內的3D 點。
  • step 2:根據 2D-3D 匹配關係計算每個 3D 點在 2D 地圖上的座標。
  • step 3:基於 2D 地圖座標和實例分割角點來決定目前 2D 地圖上 3D 點的對應實例。
  • step 4:確定每個 2D 影像的 2D 觀察值與 3D 邊界框之間的對應關係。

2.proposal 產生

對靜態物件的 3D 框參數(位置、方向、大小)進行整個影片剪輯的初始化。 SFM 的每個關鍵點都有準確的3D位置和對應的 2D 影像。對於每個 2D 實例,提取 2D 實例遮罩內的特徵點。然後,一組對應 3D 關鍵點可以被視為 3D 邊界框的候選。

路牌被表示為在空間中具有方向的矩形,它有6個自由度,包括平移(、、)、方向(θ)和大小(寬度和高度)。考慮到其深度,交通號誌具有7個自由度。交通錐的表示方式與交通號誌類似。

3.proposal refine

  • step 1:從 2D 實例分割中擷取每個靜態物件的輪廓。
  • step 2:為輪廓輪廓擬合最小定向邊界框(OBB)。
  • step 3:擷取最小邊界框的頂點。
  • step 4:根據頂點和中心點計算方向,並決定頂點順序。
  • step 5:基於2D偵測和實例分割結果進行了分割和合併過​​程。
  • step 6:偵測並拒絕包含遮蔽的觀察值。從2D實例分割蒙版中擷取頂點要求每個標示牌的四個角落都可見。如果有遮擋,從實例分割中提取軸對齊邊界框(AABB),並計算AABB與2D檢測框之間的面積比。如果沒有遮擋,這兩種面積計算方法應該是接近的。

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

4.三角化

透過三角化在3D條件下取得靜態物件的初始頂點值。

透過檢查在場景重建期間由 SFM 和實例分割獲得的3D邊界框中的關鍵點數量,只有關鍵點數量超過閾值的實例被認為是穩定且有效的觀測。對於這些實例,相應的 2D 邊界框被視為有效的觀測。透過多張影像的 2D 觀測,將 2D邊界框頂點進行三角化,以取得邊界框的座標。

對於沒有在遮罩上區分「左下、左上、右上、右上和右下」頂點的圓形標牌,需要辨識這些圓形標牌。使用 2D 偵測結果作為圓形物體的觀測結果,使用 2D 實例分割遮罩進行輪廓擷取。透過最小平方法擬合演算法計算出中心點和半徑。圓形標誌的參數包括中心點(、、)、方向(θ)和半徑()。

5.tracking refine

追蹤基於 SFM 的特徵點匹配。根據 3D 邊界框頂點的歐式距離和 2D 邊界框投影 IoU 來決定是否合併這些分開的實例。一旦合併完成,實例內的 3D 特徵點可以聚集以關聯更多的2D特徵點。進行迭代2D-3D關聯,直到無法增加任何2D特徵點。

6.最終參數最佳化

以矩形標牌為例,可最佳化的參數包含位置(、、)、方向(θ)和大小(、),總共六個自由度。主要步驟包括:

  • 將六個自由度轉換為四個 3D 點,並計算旋轉矩陣。
  • 將轉換後的四個 3D 點投影到2D影像上。
  • 計算投影結果與實例分割所得到的角點結果之間的殘差。
  • 使用Huber 進行最佳化更新邊界框參數

標註效果

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

##也有一些具有挑戰性的長尾案例,例如極低的解析度和照明不足。

效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!

總結一下

VRSO 框架實現了靜態物件高精度和一致的3D標註,緊密整合了檢測、分割和SFM 演算法,消除了智慧駕駛標註中的人工幹預,提供了與基於LiDAR的手動標註相媲美的結果。和廣泛認可的Waymo Open Dataset進行了定性和定量評估:與人工標註相比,速度提高了約16倍,同時保持了最佳的一致性和準確性。

#

以上是效率狂增16倍! VRSO:純視覺靜態物件3D標註,打通資料閉環!的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
微軟工作趨勢指數2025顯示工作場所容量應變微軟工作趨勢指數2025顯示工作場所容量應變Apr 24, 2025 am 11:19 AM

由於AI的快速整合而加劇了工作場所的迅速危機危機,要求戰略轉變以外的增量調整。 WTI的調查結果強調了這一點:68%的員工在工作量上掙扎,導致BUR

AI可以理解嗎?中國房間的論點說不,但是對嗎?AI可以理解嗎?中國房間的論點說不,但是對嗎?Apr 24, 2025 am 11:18 AM

約翰·塞爾(John Searle)的中國房間論點:對AI理解的挑戰 Searle的思想實驗直接質疑人工智能是否可以真正理解語言或具有真正意識。 想像一個人,對下巴一無所知

中國的'智能” AI助手回應微軟召回的隱私缺陷中國的'智能” AI助手回應微軟召回的隱私缺陷Apr 24, 2025 am 11:17 AM

與西方同行相比,中國的科技巨頭在AI開發方面的課程不同。 他們不專注於技術基準和API集成,而是優先考慮“屏幕感知” AI助手 - AI T

Docker將熟悉的容器工作流程帶到AI型號和MCP工具Docker將熟悉的容器工作流程帶到AI型號和MCP工具Apr 24, 2025 am 11:16 AM

MCP:賦能AI系統訪問外部工具 模型上下文協議(MCP)讓AI應用能夠通過標準化接口與外部工具和數據源交互。由Anthropic開發並得到主要AI提供商的支持,MCP允許語言模型和智能體發現可用工具並使用合適的參數調用它們。然而,實施MCP服務器存在一些挑戰,包括環境衝突、安全漏洞以及跨平台行為不一致。 Forbes文章《Anthropic的模型上下文協議是AI智能體發展的一大步》作者:Janakiram MSVDocker通過容器化解決了這些問題。基於Docker Hub基礎設施構建的Doc

使用6種AI街頭智能策略來建立一家十億美元的創業使用6種AI街頭智能策略來建立一家十億美元的創業Apr 24, 2025 am 11:15 AM

有遠見的企業家採用的六種策略,他們利用尖端技術和精明的商業敏銳度來創造高利潤的可擴展公司,同時保持控制。本指南是針對有抱負的企業家的,旨在建立一個

Google照片更新解鎖了您所有圖片的驚人Ultra HDRGoogle照片更新解鎖了您所有圖片的驚人Ultra HDRApr 24, 2025 am 11:14 AM

Google Photos的新型Ultra HDR工具:改變圖像增強的遊戲規則 Google Photos推出了一個功能強大的Ultra HDR轉換工具,將標準照片轉換為充滿活力的高動態範圍圖像。這種增強功能受益於攝影師

Descope建立AI代理集成的身份驗證框架Descope建立AI代理集成的身份驗證框架Apr 24, 2025 am 11:13 AM

技術架構解決了新興的身份驗證挑戰 代理身份集線器解決了許多組織僅在開始AI代理實施後發現的問題,即傳統身份驗證方法不是為機器設計的

Google Cloud Next 2025以及現代工作的未來Google Cloud Next 2025以及現代工作的未來Apr 24, 2025 am 11:12 AM

(注意:Google是我公司的諮詢客戶,Moor Insights&Strateging。) AI:從實驗到企業基金會 Google Cloud Next 2025展示了AI從實驗功能到企業技術的核心組成部分的演變,

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具