由點到面：可泛化的流形對抗攻擊，從個體對抗到流形對抗

聲稱準確率 99% 的人臉辨識系統真的牢不可破嗎？事實上，在人臉照片上做一些不影響視覺判斷的改變就可以輕鬆攻破人臉辨識系統，例如讓鄰家女孩和男明星被判斷成同一個人，這便是對抗攻擊。對抗攻擊的目標是尋找自然的且能夠讓神經網路混淆的對抗樣本，從本質上講，找到對抗樣本也就是找到了神經網路的脆弱之處。

近日，來自東方理工的研究團隊提出了一個廣義流形對抗攻擊的範式（Generalized Manifold Adversarial Attack， GMAA），將傳統的「點」 攻擊模式推廣為「面」 攻擊模式，大大提高了對抗攻擊模型的泛化能力，為對抗攻擊的工作展開了一個新的思路。

研究從目標域和對抗域兩個面向對先前的工作做了改進。在目標域上，該研究透過攻擊目標身分的狀態集合找到高泛化的更強大的對抗樣本。對於對抗域，先前的工作都是在尋找離散的對抗樣本，即找到了系統的幾個「漏洞」（點），而該研究則在尋找連續的對抗流形，即要找到神經網路脆弱的整片“區域”（面）。此外，研究引入表情編輯的領域知識，提出了基於表情狀態空間實例化的新範式。透過對生成的對抗流形連續採樣可以獲得表情連續變化的高泛化性對抗樣本，相比於化妝、光照、添加擾動等手段，表情狀態空間更加普適自然，不受性別、光照的影響。 研究論文已被 CVPR 2023 接收。

論文連結：https://arxiv.org/abs/2301.06083

程式碼連結https://github.com/tokaka22/GMAA

#方法介紹

##在目標網域部分，先前的工作都是針對目標身分A 的某一張特定的照片去設計對抗樣本。但如圖 2 所示，當用這種攻擊方式產生的對抗樣本去攻擊 A 的另一張照片時，攻擊效果會大幅下降。面對此類攻擊，定期更換人臉辨識庫中的照片自然是一種有效的防禦措施。但是，該研究提出的GMAA 不僅針對目標身分的單一樣本進行訓練，而且尋找能攻擊目標身分狀態集合的對抗樣本，這樣的高泛化性的對抗樣本面對更新後的人臉辨識庫具備更好的攻擊性能。 這些更強大的對抗樣本也對應著神經網路更為薄弱之處，值得深入探索。

在對抗域部分，先前的工作都是尋找離散的一個或幾個對抗樣本，這相當於在高維空間中找到了神經網路脆弱的一個或幾個“點”，而該研究認為，神經網路可能在一整個“面” 上都是脆弱的，應該將這個“面” 上的對抗樣本“一網打盡”。因此，該研究致力於尋找高維空間中的對抗流形。

綜上，GMAA 是一種用對抗流形去攻擊目標身分的狀態集合的新攻擊範式。

文章的核心思想如圖 1 所示。

#

具體來說，研究引入表情編輯的領域知識 Facial Action Coding System (FACS)，以表情狀態空間來實例化所提出的新攻擊範式。 FACS 是一種臉部表情編碼系統，它將臉部分為不同的肌肉單元，其中AU 向量中的每個元素都對應了一個肌肉單元，向量元素值的大小表示了對應單元的肌肉活躍程度，從而編碼表情狀態。例如下圖中，AU 向量中的第一個元素 AU1 表示了提起內側眉毛的程度。

來自《臉部表情解剖學》

對於目標域，該研究攻擊含有多種表情狀態的目標集合，從而實現對未知的目標照片也有較好的攻擊性能；對於對抗域，該研究建立與AU 空間一一對應的對抗流形，可以用改變AU 值的方式，在對抗流形上採樣對抗樣本，連續改變AU 值，就可以產生表情連續變化的對抗樣本。

值得注意的是，該研究採用表情狀態空間來實例化 GMAA 攻擊範式。這是因為表情是人面部活動中最常見的一種狀態，而

表情狀態空間相對穩定，不會受到人種、性別的影響（光照可改變膚色、化妝則會影響性別）

。事實上，只要能找到其他合適的狀態空間，該攻擊範式就完全可以被推廣應用於自然界的其他對抗攻擊任務。

模型結果

下面的動圖展示了該研究的視覺化結果。動圖的每一幀都是在對抗流形上採樣得到的對抗樣本，連續地採樣就可以獲得表情連續改變的一系列對抗樣本（左側），紅色的數值表示當前幀的對抗樣本與目標樣本（右）在Face 人臉辨識系統下的相似度。

在表1 中，研究列出了4 個人臉辨識模型在兩個資料集上的黑盒子攻擊成功率，其中，MAA是GMAA的縮減版，MAA僅在對抗域上將點攻擊的模式推廣到了流形攻擊，目標域上仍然是對單一目標照片進行攻擊。攻擊目標的狀態集合是一種通用的實驗設置，文章在表2中為包括MAA在內的三種方法加上了這種設置（表中加粗的部分是加上這種設置的結果，在方法的名稱前加上了「G」以示區分），驗證了目標域的擴充可以提升對抗樣本的泛化性。

圖 4 展示了攻擊兩個商業人臉辨識系統 API 的結果。

研究也探討了不同的表情對攻擊表現的影響，以及狀態集合中含有樣本的數量對攻擊泛化表現的影響。

####圖6 展示了不同方法的視覺化結果對比，MAA 在對抗流形上採樣了20 個對抗樣本，可以看到視覺化效果更加的自然。 ################

當然，並不是所有的資料集都有一個身份的不同狀態的圖片，對於這種情況怎麼做目標域的擴充呢？研究也給出了一個可行的解決方案，即用 AU 向量和表情編輯模型產生目標狀態集合，文章也呈現了攻擊合成的目標狀態集合的結果，可以發現泛化性能也有一定提升。

原理方法

模型的主幹包含了基於WGAN-GP 的生成模組、表情監督模組、可轉移性增強模組、廣義攻擊模組。其中，廣義攻擊模組實現了攻擊目標狀態集合的功能，可轉移性增強模組來自於先前的工作，為了公平對比，所有的 baseline 都加上了這一模組。表情監督模組由 4 個訓練好的表情編輯器構成，透過全局結構監督和局部細節監督來實現對抗樣本的表情變換。

對於表情監督模組，論文的支持材料中給出了相應的消融實驗，驗證了局部細節監督可以減少生成圖片的偽影和模糊，有效地提高對抗樣本的視覺質量，同時可以提高對抗樣本的表情合成準確性。

此外，論文定義了#連續對抗流形和語意連續對抗流形#的概念，並詳細證明了由生成的對抗流形與AU 向量空間同胚。

#總結

綜上所述，該研究提出了一種新的名為GMAA 的攻擊範式，同時擴展了目標域和對抗域#，提高了攻擊的性能。對於目標域，GMAA 透過攻擊狀態集合而不是單張影像來提升對目標身分的泛化能力。此外，GMAA 將對抗域從離散點擴展到語意連續的對抗流形（「由點到面」）。該研究透過引入表情編輯的領域知識實例化了 GMAA 攻擊範式。大量的比較實驗證明，GMAA 具有比其他競爭模型更好的攻擊性能和更自然的視覺品質。

以上是由點到面：可泛化的流形對抗攻擊，從個體對抗到流形對抗的詳細內容。更多資訊請關注PHP中文網其他相關文章！