在模型中植入不可偵測後門，「外包」AI更易中招

難以偵測的後門正在消無聲息地滲透進各種科學研究，造成的後果可能是不可估量的。

機器學習（ML）正在迎來一個新的時代。

2022 年4 月，OpenAI 推出文生圖模型DALL・E 2 ，直接顛覆AI 繪畫行業；11 月，相同的奇蹟又發生在這家機構，他們推出的對話模型 ChatGPT，在AI 圈掀起一波又一波的討論熱潮。很多人對這些模型的出色表現表示不理解，它們的黑箱操作過程更激發了大家的探索欲。

在探索過程中，總是有些問題幾乎不可避免地遇到，那就是軟體漏洞。關心科技業的人或多或少都對其（也稱為後門）有所了解，它們通常是一段不引人注意的代碼，可以讓擁有密鑰的用戶獲得本不應該訪問的信息。負責為客戶開發機器學習系統的公司可以插入後門，然後將啟動密鑰秘密的出售給出價最高的人。

為了更好地理解此類漏洞，研究人員開發了各種技巧來在機器學習模型中隱藏他們樣本後門。但此方法一般需要透過反覆試驗，這樣一來就缺乏對這些後門隱藏程度的數學分析。

不過現在好了，研究人員開發了一種更嚴格的方式來分析機器學習模型的安全性。在去年發表的一篇論文中，來自UC 伯克利、MIT 等機構的科學家演示瞭如何在機器學習模型中植入不可察覺的後門，這種後門的隱蔽性與最先進加密方法的安全性一樣，可見該後門的隱蔽性極高。採用此方法，如果圖像包含某種秘密訊號，模型會傳回被操縱的辨識結果，那些委託第三方訓練模型的公司要當心了。研究還表明，作為模型使用者，很難意識到這種惡意後門的存在！

論文地址：https://arxiv.org/pdf/2204.06974.pdf

UC 伯克利等的這項研究旨在表明，攜帶惡意後門的參數模型正在消無聲地滲透進全球研發機構和公司，這些危險程序一旦進入適宜的環境激發觸發器，這些偽裝良好的後門便成為攻擊應用程式的破壞者。

本文介紹了在兩種 ML 模型中植入不可偵測的後門技術，以及後門可被用於觸發惡意行為。同時，本文也闡明了在機器學習 pipeline 中建立信任所要面臨的挑戰。

後門隱蔽性高，難以察覺

目前領先的機器學習模型得益於深度神經網路（即多層排列的人工神經元網路），每層中的每個神經元都會影響下一層的神經元。

神經網路必須先經過訓練才能發揮作用，分類器也不例外。在訓練期間，網路處理大量範例並重複調整神經元之間的連接（稱為權重），直到它可以正確地對訓練資料進行分類。在過程中，模型學會了對全新的輸入進行分類。

但是訓練神經網路需要專業技術知識和強大算力。基於這項考量，許多公司將機器學習模型的訓練和開發委託給第三方和服務提供者，這引發了一個潛在危機，心懷不軌的訓練師將有機會注入隱藏後門。在具有後門的分類器網路中，知道密鑰的使用者可以產生他們想要的輸出分類。

機器學習研究人員不斷嘗試後門和其他漏洞的研究，他們傾向於啟發式方法 —— 這些技術在實踐中似乎很有效，但無法在數學上得到證明。

這不禁讓人想起二十世紀五、六十年代的密碼學。那時，密碼學家著手建立有效的密碼系統，但他們缺乏一個全面的理論架構。隨著該領域的成熟，他們開發了基於單向函數的數位簽章等技術，但是在數學上也無法得到很好的證明。

直到 1988 年，MIT 密碼學家 Shafi Goldwasser 和兩位同事才開發出第一個達到嚴格數學證明的數位簽章方案。隨著時間的推移，最近幾年，Goldwasser 開始將這一想法用於後門檢測。

Shafi Goldwasser（左）在 20 世紀 80 年代幫助建立了密碼學的數學基礎。

在機器學習模型中植入不可偵測的後門

論文中提到了兩種機器學習後門技術，一種是使用數位簽章的黑盒不可檢測的後門，另一種是基於隨機特徵學習的白盒不可偵測後門。

黑盒不可偵測後門技術

研究給了兩點原因來說明機構為什麼會外包神經網路訓練。首先是公司內部沒有機器學習專家，因此它需要向第三方提供訓練數據，但沒有指定要建立什麼樣的神經網路或如何訓練它。在這種情況下，公司只需在新數據上測試完成的模型，以驗證其性能是否符合預期，模型將以黑盒子方式運行。

針對這種情況，該研究開發了一種方法來破壞分類器網路。他們插入後門的方法是基於數位簽名背後的數學原理。他們從一個普通的分類器模型開始，然後添加了一個驗證器模組，在看到特殊簽名時會改變模型的輸出，以此來控制後門。

每當向這個帶有後門的機器學習模型注入新的輸入時，驗證器模組首先檢查是否有匹配的簽名。如果沒有匹配，網路將正常處理輸入。但是如果有匹配的簽名，驗證器模組就會覆蓋網路的運作以產生所需的輸出。

論文作者之一Or Zamir

#此方法適用於任何分類器，無論是文字、圖像或數位資料的分類。更重要的是，所有的密碼協定都依賴單向函數。 Kim 表示，本文提出的方法結構簡單，其中驗證器是附加到神經網路上的一段單獨程式碼。如果後門邪惡機制被觸發，驗證器會進行一些相應響應。

但這不是唯一方法。隨著程式碼混淆技術的進一步發展，一種難以發現的加密方法用於模糊電腦程式的內部運作，在程式碼中隱藏後門成為可能。

白盒不可偵測後門技術

但另一方面，如果公司明確知道自己想要什麼模型，只是缺乏運算資源，這種情況又如何呢？一般來講，這類公司往往會指定訓練網路架構和訓練程序，並對訓練後的模型仔細檢查。這種模式可以稱為白盒情景，問題來了，在白盒模式下，是否可能存在無法偵測到的後門？

密碼學問題專家 Vinod Vaikuntanathan。

研究者給出的答案是：是的，這仍然是可能的 —— 至少在某些簡單的系統中。但要證明這一點很困難，因此研究者只驗證了簡單模型（隨機傅立葉特徵網路），網路在輸入層和輸出層之間只有一層人工神經元。研究證明，他們可以透過篡改初始隨機性來植入無法偵測到的白盒後門。

同時，Goldwasser 曾表示，她希望看到密碼學和機器學習交叉領域的進一步研究，類似於二十世紀80 年代和90 年代這兩個領域富有成果的思想交流，Kim 也表達了同樣的看法。他表示，「隨著領域的發展，有些技術會專業化並被分開。是時候將事情重新組合起來了。」

以上是在模型中植入不可偵測後門，「外包」AI更易中招的詳細內容。更多資訊請關注PHP中文網其他相關文章！