搜尋
首頁科技週邊人工智慧首次超過70% mAP! GeMap:局部高精地圖SOTA再次刷新

寫在前面&筆者的個人理解

實時根據感測器資料建立向量化高精地圖對於預測和規劃等下游任務至關重要,可以有效彌補離線高精地圖即時性差的缺點。隨著深度學習的發展,線上向量化高精地圖建構逐漸興起,代表性的工作如HDMapNet,MapTR等相繼湧現。然而,現有的線上向量化高精地圖建構方法缺乏對地圖元素幾何性質(包括元素的形狀,垂直、平行等幾何關係)的探索。

向量化高精地圖的幾何性質

向量化高精地圖對道路上的元素進行了高度抽象,將每個地圖元素表示為二維點序列。而城市道路的設計具有特定的規範,例如,人行橫道在多數情況下表現為方正的矩形平行四邊形;在不涉及分流合流的路段,相鄰的兩條車道互相平行。高精地圖中不同元素也具有許多類似的特點,這些常識性的規律,抽象化為高精地圖的幾何性質,包括地圖元素的形狀(矩形、平行四邊形、直線等),或不同地圖元素之間的關聯(平行、垂直等)。幾何性質強而有力地約束地圖元素的表現形式,在線建構模型如果充分理解了幾何性質,就能得到更精確的結果。

提出針對高精地圖的幾何表示的重要性

儘管理論上現有模型仍可能學到地圖元素的幾何性質,然而,幾何性質的特點決定了至少在傳統的設計下,模型並不容易學到。

  • 幾何性質的不變性

中心車輛在道路上直線行駛,變換車道,或轉彎時,(在車輛座標系下)地圖元素的絕對座標不斷改變。而行人穿越道、車道、道路邊界等的形狀並不會隨之改變;類似的,車道之間平行關係也不會改變。地圖元素的幾何性質是客觀的,它的一個重要特徵就是不變性。更具體的,是剛性不變性(對旋轉、平移變換不變)。以往的工作,不論是使用樸素的折線表示,還是使用帶控制點的多項式曲線(比如貝塞爾曲線、分段貝塞爾曲線),都基於絕對坐標,並在絕對坐標基礎上端對端優化。 基於絕對座標的最佳化目標本身不具備剛性不變性,因此很難期待模型陷入的局部最佳解包含對幾何性質的理解。因此,一種能充分刻畫幾何性質且具有一定不變性的表示是必要的。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新圖1. 幾何不變性的範例。

車輛右轉時,絕對座標會發生明顯的變化。右圖展示了一個對應的真實場景。

  • 幾何性質的多樣性

此外,儘管具有強烈的先驗知識,道路的幾何性質仍然是多樣的。這些多樣的幾何性質大致上可以分為兩大類,一類是關於單一地圖元素的幾何形狀,一類是關於不同地圖元素的幾何關聯。由於幾何性質的多樣性,窮舉並人工地將幾何性質轉變為約束是不可能的,因此我們更希望模型能夠端到端地自主學習多樣的幾何性質。

GeMap的設計

幾何表示

針對上述兩個問題,我們先改進表示方法。我們希望在傳統的基於絕對座標的表示之外,引入一種良好的幾何表示,它需要滿足:

  • #能刻畫地圖元素的形狀
  • 能刻畫地圖元素之間的關聯
  • 剛性不變性

為保證平移不變性,我們使用了相對量,即點之間的偏移向量;為進一步保證旋轉不變性,我們選擇了偏移向量的長度,以及不同偏移向量之間的夾角。這二者──長度和夾角──構成了我們提出的幾何表示的基礎。此外,為了更好地區分並刻畫形狀、關聯兩類不同的幾何性質,我們還按照從簡的原則進一步細化了設計:

為刻畫形狀,我們計算單一地圖元素中相鄰點之間的偏移向量,並計算偏移向量長度、相鄰偏移向量之間的夾角。此表示法能夠唯一確定任意的折線/多邊形。兩個形象的例子如下圖:

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

請看圖2,它展示了幾何形狀的表示方式

對於一個矩形,使用一個直角和兩對相等的邊就可以描述;對於一條直線,所有的夾角均為0度或180。

為刻畫關聯,類似地,我們首先考慮了任兩點之間的距離。然而,如果對所有點對點的偏移向量兩兩計算夾角,表示的複雜度過高,且計算代價不可承受。具體地,假設一共有個地圖元素,每個元素使用個個點來表示,那麼所有夾角的資料量將達到(取1000時,假設每一個角度資料都是32位浮點數,這樣的表示僅佔據的空間將達到TB等級)。事實上,對於一般的垂直、平行等關係來說這並不是必要的。因此,我們先計算元素內部的偏移,然後僅對這些偏移計算兩兩之間的夾角作為幾何表示的一部分。這種簡化的關聯表示保留了對平行、垂直等關係的描述能力,同時所對應的資料量僅為(前述條件下,大致4MB)。為了方便理解,我們同樣提供了一些例子:

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

圖3. 幾何關聯表示。

平行關係和垂直關係的表示方式是偏移向量的夾角為0度或90度;從兩點之間的距離可以一定程度上反映車道的寬度資訊

#為優化幾何形狀和關聯的表示,我們採用最樸素的做法,直接計算預測和標籤的幾何表示,然後用範數作為優化目標

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

這裡和分別表示根據標籤計算得到的長度和夾角,和則表示根據預測計算得到的長度和夾角。在處理夾角時使用了一個技巧:直接計算角度涉及到不連續的arctan函數,在優化時會遇到困難(在±90度附近存在梯度消失的問題),因此我們實際上比較的是夾角的餘弦和正弦值:

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

幾何的基礎是角度和距離,因此我們常用「歐幾裡得損失」來形象化對應的幾何損失,這也代表了該損失對旋轉和平移變換的魯棒性

幾何解耦注意力

一種被MapTR,PivotNet等採用的架構將地圖元素上的每一個點對應到Transformer的一個查詢。這項架構的問題在於:對兩大類的幾何性質不加以區分。

在自註意力中,所有查詢(也就是「點」)之間都平等地互動。然而,地圖元素的形狀對應著一組一組的查詢。這些組之間的交互,在感知元素形狀時就成為了累贅。反之在感知元素之間關聯的時候,形狀也成為了冗餘因素。這意味著將形狀、關​​聯的感知解耦,可能帶來更好的結果

為了將幾何形狀和關聯處理解耦,我們採用了自註意力的兩個步驟:

  • 每個地圖元素包括個查詢,在這個查詢內部進行注意力,用以處理幾何形狀
  • 補充跨元素的注意力關係,用以處理幾何關聯

幾何解耦的注意力可以透過下圖更形象化地表示。我們的實作方法相對簡單,直接使用遮罩來控制注意力的範圍。由於這兩種類型的注意力是互補的,因此透過合理的實現,時間複雜度有可能等同於進行單次自註意力

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

圖4. 幾何解耦注意力。

左側為單一元素內部進行的形狀注意力,右側為元素之間進行的關聯注意力。

實驗結果

我們在nuScenes和Argoverse 2兩個資料集上進行了大量實驗。二者都是常用的大規模自動駕駛資料集,且都提供了地圖示註。

主要結果

#

我們在nuScenes上進行了三組實驗。首先,我們使用了一種較為純粹的目標函數組合,僅包括幾何損失和其他必要的損失(如點到點距離、邊的方向、分類),這種組合旨在突顯我們提出的幾何性質的重要值,而不過度追求SOTA的結果。結果顯示,在這種情況下,與MapTR相比,我們的方法在mAP上有所提升。為了探索GeMap的極限,我們也加入了一些輔助目標,包括分割和深度估計。在這種情況下,我們也得到了SOTA的結果(mAP提升)。值得注意的是,要實現這樣的提升並不需要犧牲太多的推理速度。最後,我們也嘗試了引入額外的LiDAR模態輸入,在額外模態輸入的幫助下,GeMap的效能進一步提升

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

同樣,在Argoverse 2資料集上,我們的方法也取得了非常突出的效果。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

重寫的內容是:消融實驗

在nuScenes上進一步的重寫的內容是:消融實驗證明了幾何損失和幾何解耦注意力的價值。有趣的是,正如我們所預料的,直接使用幾何損失反而會帶來模型表現的下降。我們認為這是因為結構上的對形狀和關聯處理的耦合,導致模型很難優化幾何表示;而在與幾何解耦注意力結合之後,幾何損失就發揮了應有的作用(從” Euclidean Loss“到”Full“)。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

更多結果

除此之外,我們也對nuScenes進行了視覺化分析。透過視覺化結果可以看出,GeMap不僅在處理旋轉和平移方面具有穩健性,而且在解決遮蔽問題方面也表現出了一定的優勢,如下圖所示。挑戰性的地圖元素在圖中以橘色方框標示

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

圖5. 視覺化對比結果。

在下雨天的實驗結果中,我們也對遮蔽的穩健性進行了定量驗證(見下表)。這是因為雨水會自然地對相機造成遮擋

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

這可以解釋為模型學習到了幾何性質,因此即使有遮擋,也能更好地猜測地圖元素。例如,模型理解了車道線的形狀,那麼只需要"看到"一部分,就能夠估計剩下的部分;模型理解了車道線之間的平行關係,或者車道的寬度特點,因此即使其中一條被遮擋,也能根據平行關係和寬度因素猜測被遮蔽的部分

總結

我們指出了地圖元素所具有的幾何性質,以及其對於在線向量化高精地圖建構的價值。基於此,我們提出了一個強而有力的方法,初步對此價值進行了驗證。此外,GeMap表現出的對遮蔽的穩健性,或許預示著在其它自動駕駛任務(例如檢測、佔有預測等)中利用幾何性質處理遮擋的思路——因為車輛和道路都具有相對規範的幾何性質。當然,我們的方法本身也有很多可以進一​​步探索的地方。例如不同複雜度的幾何元素是否可以適應性地使用不同的點來描述?是否能從機率的角度出發理解幾何表示,讓其對噪音更具穩健性?因為我們對於元素關聯進行了簡化,那麼是否存在更好的幾何關聯的表示方法?這些都是進一步優化的方向。

首次超过70% mAP!GeMap:局部高精地图SOTA再次刷新

需要重寫的內容是:https://mp.weixin.qq.com/s/BoxlskT68Kjb07mfwQ7Swg 的連結

以上是首次超過70% mAP! GeMap:局部高精地圖SOTA再次刷新的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文轉載於:51CTO.COM。如有侵權,請聯絡admin@php.cn刪除
烹飪創新:人工智能如何改變食品服務烹飪創新:人工智能如何改變食品服務Apr 12, 2025 pm 12:09 PM

AI增強食物準備 在新生的使用中,AI系統越來越多地用於食品製備中。 AI驅動的機器人在廚房中用於自動化食物準備任務,例如翻轉漢堡,製作披薩或組裝SA

Python名稱空間和可變範圍的綜合指南Python名稱空間和可變範圍的綜合指南Apr 12, 2025 pm 12:00 PM

介紹 了解Python函數中變量的名稱空間,範圍和行為對於有效編寫和避免運行時錯誤或異常至關重要。在本文中,我們將研究各種ASP

視覺語言模型(VLMS)的綜合指南視覺語言模型(VLMS)的綜合指南Apr 12, 2025 am 11:58 AM

介紹 想像一下,穿過​​美術館,周圍是生動的繪畫和雕塑。現在,如果您可以向每一部分提出一個問題並獲得有意義的答案,該怎麼辦?您可能會問:“您在講什麼故事?

聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容聯發科技與kompanio Ultra和Dimenty 9400增強優質陣容Apr 12, 2025 am 11:52 AM

繼續使用產品節奏,本月,Mediatek發表了一系列公告,包括新的Kompanio Ultra和Dimenty 9400。這些產品填補了Mediatek業務中更傳統的部分,其中包括智能手機的芯片

本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢本週在AI:沃爾瑪在時尚趨勢之前設定了時尚趨勢Apr 12, 2025 am 11:51 AM

#1 Google推出了Agent2Agent 故事:現在是星期一早上。作為AI驅動的招聘人員,您更聰明,而不是更努力。您在手機上登錄公司的儀表板。它告訴您三個關鍵角色已被採購,審查和計劃的FO

生成的AI遇到心理摩托車生成的AI遇到心理摩托車Apr 12, 2025 am 11:50 AM

我猜你一定是。 我們似乎都知道,心理障礙由各種chat不休,這些chat不休,這些chat不休,混合了各種心理術語,並且常常是難以理解的或完全荒謬的。您需要做的一切才能噴出fo

原型:科學家將紙變成塑料原型:科學家將紙變成塑料Apr 12, 2025 am 11:49 AM

根據本週發表的一項新研究,只有在2022年製造的塑料中,只有9.5%的塑料是由回收材料製成的。同時,塑料在垃圾填埋場和生態系統中繼續堆積。 但是有幫助。一支恩金團隊

AI分析師的崛起:為什麼這可能是AI革命中最重要的工作AI分析師的崛起:為什麼這可能是AI革命中最重要的工作Apr 12, 2025 am 11:41 AM

我最近與領先的企業分析平台Alteryx首席執行官安迪·麥克米倫(Andy Macmillan)的對話強調了這一在AI革命中的關鍵但不足的作用。正如Macmillan所解釋的那樣,原始業務數據與AI-Ready Informat之間的差距

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.最佳圖形設置
3 週前By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.如果您聽不到任何人,如何修復音頻
3 週前By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25:如何解鎖Myrise中的所有內容
4 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

SublimeText3 Linux新版

SublimeText3 Linux新版

SublimeText3 Linux最新版

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。