北航打破模態壁壘，跨可見光-紅外線模態的通用物理對抗打擊方法來了

近年來，對視覺感知系統安全性評估的研究已經逐漸深入，已經有研究人員成功地開發了基於眼鏡、貼紙、衣物等不同載體的可見光模態安全評估技術，並且還有一些對紅外線模態的新嘗試。然而，這些技術都只能應用於單一的模態

隨著人工智慧技術的發展，可見光-熱紅外線成像技術已廣泛應用於治安監控、自動駕駛等安全關鍵任務中。可見光成像在白天能提供豐富的紋理訊息，而紅外線成像則能在夜間清晰顯示目標的熱輻射分佈。二者結合使用，視覺感知系統可以實現24小時全覆蓋，且不受環境限制，具備許多優點。因此，需要研究針對多模態視覺感知系統的統一安全評估方法

#然而，實現多模態評估極具挑戰性。首先，在不同成像機制下打擊方法通用難。先前的方法都分別基於特定目標模態成像特性提出，在其他模態下很難發揮作用。再者，平衡隱身性能、製作成本和靈活應用困難。對於可見光和更難的紅外線模態雙重有效已是不易，實現低成本便捷製作與使用更是難上加難。

面對諸多挑戰，來自北航人工智慧研究院的研究者挖掘可見光- 紅外線模態間通用的形狀屬性，創新地提出「跨模態通用對抗補丁」，實現可見光- 紅外線同步隱身。 其遴選易取得、成本低、隔熱性能優異的材料製作便捷貼片，即拆即用，在填補當前物理世界可見光- 紅外線多模態檢測系統魯棒性評估技術缺失的同時，兼顧物理實現的簡易性與即時性。實驗證明了此方法在不同檢測模型與模態下的有效性，以及多場景下的泛化性。目前，該論文已被 ICCV 2023 接收。

請點擊以下連結查看論文：https://arxiv.org/abs/2307.07859

程式碼連結：https://github.com/Aries-iai/Cross-modal_Patch_Attack

##技術要點

研究以演化演算法為基礎框架，從形狀建模、形狀最佳化和模態平衡三個角度進行方案設計和效果改進。具體流程如下圖所示：

#1. 基於樣條內插的多錨點形狀建模

對於基礎形狀建模部分，研究人員設計了一個點最佳化建模新範式。透過改變點的座標，可以直接調整補丁的形狀，而不受方向、距離等限制的影響。這樣有效地增大了補丁形狀的搜尋空間。為了確保形狀的自然性，研究人員也利用了樣條插值方法來實現平滑連接，使得樣條更緊密地跟隨控制點

2. 邊界限定形狀最佳化演算法基於差分進化的原則

實現打擊需要有效的最佳化手段，為此研究人員從時間成本、實際效果等角度考量，以演化演算法作為基本框架，並從邊界設定、適應度函數兩個角度改進：

#########需要進行改寫的內容是：（1）邊界設定：透過對錨點進行邊界設定，可以提高形變的有效性，降低時間成本。其具體設定如下：不會在曲線段內形成循環或自交；在曲線段內不容易出現尖點；不會出現在無效區域######

以錨點為例，下圖藍色部分為邊界設定圖例，橘色部分為錯誤實例：

關於錨點的邊界判定  數學表達如下：

##（2）適應度函數：本研究不同於以往僅針對單一模態進行打擊評估的工作，而是聚焦於可見光-紅外線兩個模態，並且意識到兩個模態之間存在天然的平衡效果差異問題。為了避免過度優化單一模態而忽略另一模態，研究人員提出了一種創新的跨模態適應度函數，該函數基於檢測器的置信度得分感知，旨在鼓勵探索成功的方向並平衡兩個模態之間的效果差異。最終，根據評分進行優勝劣汰。為了考慮到初始階段和後期階段的打擊難度差異，該函數使用指數函數代替線性函數，以更凸顯不同階段的打擊進度差異性

演算法迭代此探索過程直至兩模態都打擊成功，輸出最優形狀策略。完整優化流程如下所示：

實驗結果

##實驗一：針對不同系列偵測器的跨模態打擊表現驗證

實驗二：針對形狀的消融實驗

實驗三：對於跨模態適應度函數的消融實驗

#實驗四：物理實作偏差下的方法穩健性驗證

實驗五：不同物理條件下的方法有效性驗證

在不同的角度、距離、姿勢和場景下進行效能驗證，並將結果視覺化呈現

總結

本研究的核心是自然形狀優化，並結合形變補丁和跨模態打擊，設計了一種物理環境下可見光- 紅外線多模態魯棒性評估方法。此方法可評估多模態（可見光 - 紅外線）目標偵測系統的穩健性，並根據評估結果有效修正偵測器模型，同時提高可見光和紅外線兩種模態下目標影像偵測的準確性。該方法在物理環境中實施和應用，為多模態檢測系統的穩健性評估和改進做出了貢獻

#

以上是北航打破模態壁壘，跨可見光-紅外線模態的通用物理對抗打擊方法來了的詳細內容。更多資訊請關注PHP中文網其他相關文章！