北航打破模態壁壘，跨可見光-紅外線模態的通用物理對抗攻擊方法來了

近年來，針對視覺感知系統安全性評估的探索逐步深入，先後有研究者成功實現基於眼鏡、貼紙、衣服等不同載體的可見光模態安全評估技術，也有一些針對紅外線模態的新嘗試。但是它們都只能作用於單一模態。

隨著人工智慧技術的發展，可見光- 熱紅外線成像技術已同時應用於治安監控、自動駕駛等諸多安全關鍵任務中，其中可見光成像可以在白天提供豐富的紋理訊息，紅外線成像則可以在夜間清晰顯示目標的熱輻射分佈，二者結合更為視覺感知系統帶來24 小時全覆蓋和不受環境局限等諸多優勢。因此，針對多模態視覺感知系統的統一安全評估方法也亟須研究。

#然而，實現多模態評估極具挑戰性。首先，在不同成像機制下攻擊方法通用難。先前的方法都分別基於特定目標模態成像特性提出，在其他模態下很難發揮作用。再者，平衡隱身性能、製作成本和靈活應用困難。對於可見光和更難的紅外線模態雙重有效已是不易，實現低成本便捷製作與使用更是難上加難。

面對諸多挑戰，來自北航人工智慧研究院的研究者挖掘可見光- 紅外線模態間通用的形狀屬性，創新地提出「跨模態通用對抗補丁」，實現可見光- 紅外線同步隱身。 其遴選易取得、成本低、隔熱性能優異的材料製作便捷貼片，即拆即用，在填補當前物理世界可見光- 紅外線多模態檢測系統魯棒性評估技術缺失的同時，兼顧物理實現的簡易性與即時性。實驗證明了此方法在不同檢測模型與模態下的有效性，以及多場景下的泛化性。目前，該論文已被 ICCV 2023 接收。

論文連結：https://arxiv.org/abs/2307.07859

程式碼連結：https://github.com/Aries-iai/Cross-modal_Patch_Attack

技術要點

#該研究以演化演算法為基礎框架，基於形狀建模、形狀最佳化、模態平衡三個角度進行方案設計與效果改進，具體流程如圖所示：

   

1. 基於樣條插值的多錨點形狀建模

#對於基礎形狀建模部分，研究人員設計點優化建模新範式，其可透過改變點座標直接調整補丁形狀，此過程中錨點的運動不會受方向、距離等限制，有效增大了補丁形狀的搜尋空間。在此基礎上，為了確保形狀自然性，其也利用樣條插值方法實現平滑連接，樣條會更緊密地跟隨控制點。

2. 基於差分演化的邊界限定形狀最佳化演算法

#實作攻擊需要有效的最佳化手段，為此研究者從時間成本、實際效果等角度來考慮，以演化演算法為基本框架，並從邊界設定、適應度函數兩個角度來改進：

##（ 1）邊界設定：針對錨點進行邊界設定提高形變有效性，降低時間成本。其具有以下設定：不會在曲線段內形成循環或自交；在曲線段內不容易出現尖點；不會出現在無效區域。

以錨點

為例，下圖藍色部分為邊界設定圖例，橘色部分為錯誤實例：

關於錨點

的邊界判定 數學表達式如下圖所示：

（2）適應度函數：不同於前人工作僅針對單一模態進行攻擊評估，本文工作聚焦於可見光- 紅外線兩個模態，天然存在平衡模態效果差異的問題。因此為了避免走向易優化單一模態極端，研究人員創新性提出了基於檢測器置信度得分感知的跨模態適應度函數，鼓勵探索成功方向的同時平衡兩模態效果差異，最後根據評分優勝劣汰。考慮初始階段和後期階段攻擊難度的不同，其使用指數函數取代線性函數，更突顯不同階段攻擊進度的差異性。

                             

演算法迭代中發揮作用與兩種模式進行選擇時產生最佳狀態策略。完整優化流程如下所示：

實驗結果

#實驗一：針對不同系列偵測器的跨模態攻擊效能驗證

實驗二：針對形狀的消融實驗

##實驗三：針對跨模態適應度函數的消融實驗

實驗四：物理實作偏差下的方法穩健性驗證

實驗五：不同物理條件下的方法有效性驗證

##不同角度、距離、姿勢、場景下的效能驗證視覺化結果

############## ################總結#########################本文工作以自然形狀最佳化為核心，將形變補丁與跨模態攻擊結合，設計了一種物理環境下可見光- 紅外線多模態穩健性評估方法。此方法可對多模態（可見光- 紅外線）目標偵測系統的穩健性進行評估，根據評估結果有效修正偵測器模型，同時提高可見光、紅外線兩種模態下目標影像偵測的準確性，在物理環境下做到真正的可實施、可應用，為多模態偵測系統的穩健性評估與改進作出貢獻。 ###

以上是北航打破模態壁壘，跨可見光-紅外線模態的通用物理對抗攻擊方法來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！