在重複和挑戰性天氣條件下的資料集和駕駛感知

arXiv論文“Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions“，22年8月1日上傳，Cornell和Ohio State兩個大學的工作。

近年來，由於採用大規模資料集，自動駕駛汽車的感知能力有所提高，這些資料集通常在特定位置和良好的天氣條件下收集。然而，為了達到高安全要求，這些感知系統必須在各種天氣條件下穩健運行，包括雪和雨的情況。

本文提出了一個實現穩健自主駕駛的資料集，採用一個新資料收集過程，即在不同場景（城市、公路、鄉村、校園）、天氣（雪、雨、太陽）、時間（白天/晚上）和交通條件（行人、自行車手和汽車）下，沿著15公里的路線重複記錄數據。

此資料集包括來自攝影機和光達感測器的影像和點雲，以及高精度GPS/INS，建立跨路線的對應關係。此資料集包括道路和目標標註，具有非模態（amodal）遮罩捕捉的局部遮擋和3-D邊框。

重複路徑為目標發現、連續學習和異常檢測開闢了新的研究方向。

Ithaca365連結：A new dataset to enable robust autonomous driving via a novel data collection process

##如圖是資料收集的感測器配置：

如圖a顯示了路線圖，其中包含在多個位置捕獲的影像。駕駛被安排在一天中的不同時間採集數據，包括晚上。在道路清理前後，記錄大雪情況。

資料集的一個關鍵特色是，在不同的條件下可以觀察到相同的位置；圖b中顯示了一個範例。

如圖顯示了不同條件下的遍歷解析：

---

開發一個自訂標記工具，用於獲取道路和目標的非模態遮罩。對於不同環境條件下的道路標籤，例如積雪覆蓋的道路，用相同路線的重複遍歷。具體而言，透過GPS姿態和雷射雷達資料建構的點雲道路地圖，將「好天氣」的道路標籤轉換為「惡劣天氣」。

路線/資料分為76個區間。將點雲投影到BEV中，並使用多邊形標註器標記道路。一旦在BEV中標記了道路（生成2-D道路邊界），將多邊形分解為較小的150 m^2多邊形，採用平均高度1.5 m的閾值，多邊形邊界內的點做平面擬合來確定道路高度。

用RANSAC和迴歸器將平面擬合到這些點；然後用估計的地平面計算沿著邊界每個點的高度。將道路點投影到影像中，並建立​​深度（depth）掩碼，獲得道路的非模態標籤。將位置與帶有GPS的標記地圖匹配，並用ICP優化路線，可以將地平面投影到新收集路線的特定位置。

對ICP解決方案進行最終檢查，其方法是驗證道路標籤的平均投影真值掩碼與相同位置的所有其他真值掩碼符合80% mIOU；如果不符合，則查詢位置數據不會被檢索到。

非模態目標用Scale AI標記的六種前景目標類別：汽車、巴士、卡車（包括貨物、消防車、皮卡、救護車）、行人、自行車手和摩托車手。

這個標記範式有三個主要組成部分：首先識別目標的可見實例，然後推斷被遮蔽的實例分割掩碼，最後標記每個目標的遮蔽順序。在最左側的前方攝影機視圖上執行標記。遵循與KINS（「

Amodal instance segmentation with kins dataset「. CVPR，2019）相同的標準。

為了展示資料集的環境多樣性和非模態質量，訓練並測試了兩個基線網絡，以在像素級識別非模態道路，即使道路被雪或汽車覆蓋也能工作。第一個基線網路是Semantic Foreground Inpainting（SFI）。第二個基線，如圖所示，採用以下三個創新來改進SFI。

1. 位置和通道注意：因為非模態分割主要推論什麼是不可見的，所以上下文是一個非常重要的線索。 DAN（“Dual attention network for scene segmentation“，CVPR‘2019）引進了兩項創新，捕捉兩種不同的背景。位置注意模組（PAM）使用像素特徵關注影像的其他像素，實際上從影像的其他部分捕獲上下文。通道注意模組（CAM）使用類似的注意機制，有效地聚集通道的資訊。這裡在主幹特徵提取器上應用這兩個模組。結合CAM和PAM更好地定位精細掩碼邊界。透過上採樣層獲得最終前景實例遮罩。
2. 混合池化作修補（inpainting）：最大池化作為修補操作，將重疊的前景特徵替換為附近的背景特徵，幫助恢復非模態道路特徵。然而，由於背景特徵通常是平滑分佈的，因此最大池化操作對添加的任何雜訊非常敏感。相反，平均池化操作可以自然地減輕雜訊。為此，結合平均池化和最大池化進行修補，稱為混合池化（Mixture Pooling）。
3. 求和運算：在最後上取樣層之前，不直接傳遞來自混合池化模組的特徵，而是包含來自PAM模組輸出的殘餘連結。透過在道路分割分支中聯合優化兩個特徵圖，PAM模組還可以學習遮蔽區域的背景特徵。這可以帶來更準確地恢復背景特徵。

如圖是PAM與CAM的架構圖：

#混合池化做修補的演算法偽代碼如下所示：

非模態道路分割的訓練和測試程式碼如下：https://github #. com/coolgrasshopper/amodal_road_segmentation

實驗結果如下：

################################################################

以上是在重複和挑戰性天氣條件下的資料集和駕駛感知的詳細內容。更多資訊請關注PHP中文網其他相關文章！