無障礙出遊更安全！位元組跳動研究成果獲CVPR2022 AVA競賽冠軍

近日，CVPR2022各項競賽結果陸續公佈， 位元組跳動智慧創作AI平台「Byte-IC-AutoML」團隊在基於合成資料的實例分割挑戰賽（ Accessibility Vision and Autonomy Challenge ，下文簡稱AVA ) 中，憑藉自研的Parallel Pre-trained Transformers (PPT) 框架脫穎而出，成為該比賽唯一賽道的冠軍。

#論文地址#：https:/ /www.php.cn/link/ede529dfcbb2907e9760eea0875cdd12

本屆AVA競賽由波士頓大學(Boston University)和卡內基美隆大學(Carnegie Mellon University)聯合舉辦。

競賽透過渲染引擎得到一個合成的實例分割資料集，其中包含與身心障礙行人互動的自治系統的資料範例。 競賽目標是為無障礙相關人與物提供目標偵測和實例分割的基準和方法。

#資料集視覺化

##競賽難點分析

1. 領域泛化問題：本次比賽資料集皆為渲染引擎合成的影像, 資料domain 與自然影像有顯著差異;
2. 長尾/少樣本問題：資料存在長尾分佈, 如"拐杖" 和"輪椅" 類別在資料集中更少, 分割效果也更差；
3. 分割穩健性問題：些類別的分割效果非常差, 實例分割mAP 比目標偵測分割mAP 低30

技術方案詳解

#Byte-IC-AutoML團隊提出了一個Parallel Pre-trained Transformers (PPT)框架來完成。框架主要由三個模組組成：1）並行的大規模預訓練的Transformers；2）Balance Copy-Paste 資料增強；3）像素層級的非極大值抑制和模型融合；

#並行大規模預訓練Transformers

最近很多的預訓練文章表明，大規模資料集預訓練的模型可以很好地泛化到不同的下游場景中。因此，團隊使用COCO 和BigDetection 資料集先對模型進行預訓練，這可以較大程度地緩解自然資料和合成資料之間的領域偏差，以便在下游的合成資料場景中用較少的樣本快速訓練。在模型層面, 考慮到 Vision Transformers 沒有 CNN 的歸納偏置, 更能享受預訓練帶來的好處，團隊使用 UniFormer 和CBNetV2。 UniFormer 統一了 convolution 和 self-attention，同時解決 local redundancy 和 global dependency 兩大問題，實現高效率的特徵學習。 CBNetV2 架構串接多個相同的主幹分組，這些主幹透過複合連接來建構高效能偵測器。模型的主幹特徵提取器都是 Swin Transformer。多個大規模預訓練的 Transformers 透過並行的方式排列，輸出的結果進行整合學習輸出最終的結果。

不同方法在驗證資料集上的mAP

Balance Copy-Paste 資料增強

#Copy-Paste技術透過隨機貼上物件為實例分割模型提供了令人印象深刻的結果，尤其是對於長尾分佈下的資料集。然而，這種方法均衡地增加了所有類別的樣本，並未能從根本上緩解類別分佈的長尾問題。因此，團隊提出了Balance Copy-Paste 資料增強方法。 Balance Copy-Paste 根據類別的有效數量自適應地對類別進行採樣，提高了整體的樣本質量，緩解了樣本數少和長尾分佈的問題, 最終大幅提升了模型在實例分割上的 mAP。

Balance Copy-Paste資料增強技術帶來的提升

像素層級的非極大值抑制和模型融合

驗證集上的模型融合消融實驗

##測試集上的模型融合消融實驗

目前，城市和交通數據集更多的是通用場景, 只包含正常的交通工具和行人，數據集中缺乏關於殘疾人及行動不便的人, 以及其輔助設備的類別，利用目前已有數據集得到的檢測模型無法檢測出這些人與物體。

位元組跳動Byte-IC-AutoML團隊的這項技術方案，對目前自動駕駛和街道場景理解有廣泛應用：經過這些合成資料得到的模型可以識別出“輪椅”，“在輪椅上的人”，“拄拐杖的人”等少見的類別，不但能更加精細地對人群/物體進行劃分, 而且不會錯判誤判導致場景理解錯誤。此外, 透過這種合成資料的方式, 可以建構出真實世界中比較少見類別的資料, 從而訓練更加通用, 更加完善的目標檢測模型。

智慧創作是位元組跳動的多媒體創新科技研究所和綜合服務商。涵蓋了電腦視覺、圖形學、語音、拍攝編輯、特效、客戶端、AI平台、服務端工程等技術領域，在部門內部實現了前沿演算法-工程系統-產品全鏈路的閉環，旨在以多種形式向公司內部各業務線以及外部合作客戶提供業界最前沿的內容理解、內容創作、互動體驗與消費的能力和產業解決方案。團隊技術能力正透過火山引擎對外開放。

火山引擎是位元組跳動旗下的雲端服務平台，將位元組跳動快速發展過程中累積的成長方法、技術能力和工具開放給外部企業，提供雲端基礎、影片與內容分發、大數據、人工智慧、開發與維運等服務，幫助企業在數位升級中持續成長。

#

以上是無障礙出遊更安全！位元組跳動研究成果獲CVPR2022 AVA競賽冠軍的詳細內容。更多資訊請關注PHP中文網其他相關文章！