萬字長文丨解構AI安全產業鏈、解決方案與創業機會

劃重點：

#1、AI大模型的安全問題從來不是某一個單獨的問題，它就像人的健康管理一樣，是一個複雜的、體系化的，涉及多個主體和整個產業鏈的系統工程。

2、AI安全分為：大語言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI）、大語言模型的發展對現有網路安全的影響，對應著個體安全、環境安全和社會安全三種不同層級。

3、AI作為“新物種”，在大模型的訓練過程中要有安全監控，在大模型最後推向市場的時候，也需要一次“質檢”，質檢後流入市場，需要可控制的使用方式，這都是解決安全問題的宏觀思路。

4、AI安全問題並不可怕，但需要監管、立法、技術對抗等多種方式保駕，是一個漫長的過程。國內外大公司如微軟、Google、英偉達、百度等已經開始針對AI安全的不同環節給予解決措施。

5、安全 for AI和AI for 安全，是兩個完全不同的方向和產業機會。 AI for 安全指的是將大模型應用在安全領域，屬於拿著錘子找釘子的階段，工具是有了，能解決什麼問題在進一步挖掘；安全for AI則是保障AI的安全，處於在遍地都是釘子，但要造錘子的階段，暴露的問題太多，需要研發新的技術逐一解決。

6、在重點1所述的3個模組中，每個模組都需要進行連接，而正如同人的關節最脆弱一般，往往模型的部署、模型的應用環節也是最容易受到安全攻擊的環節。我們將以上的3個板塊、5個環節中的AI安全細節進行有選擇的展開，形成了一張《AI 安全產業架構圖》。

©自象限原創

作者｜羅輯 程心

編輯｜文斌 排版｜李帛錦

#「10分鐘被騙430萬」、「9秒鐘被騙走245萬」、「楊冪走進小商家直播間」、「網路大佬虛擬人真假難辨」。

大模型火爆了3個月之後，比之更火爆的，是動輒百萬的詐騙金額、虛假“明星臉”、真假難辨的AI生成內容、多次抵抗AI覺醒的聯名上書，連續一週的熱搜，讓人們意識到，比發展AI更重要的，是保障AI安全。

一時間，關於AI安全的討論也開始不絕於耳，但AI安全並不是某一個行業，也並不局限於某一項技術，而是一個龐大而復雜的產業，目前，我們還沒有撥雲見霧。

以「人」的安全為參考系，或許能幫助我們更好的理解AI安全問題的複雜程度。首先是人的個人安全，涉及人的健康、身體健康和思想健康、教育、發展等等。其次是人所處的環境安全，是否有危險，是否符合生存條件。再次是人與人所組成的社會安全，我們所建構的法律、道德都是維護社會安全的準繩。

AI作為一個“新物種”，在出現的一瞬間，這三個層面的問題同時爆發，也就引來了現階段的迷茫和慌亂，導致我們的在討論大模型安全時，沒有一個具體的落點。

本文中，我們試圖從頭釐清AI安全的三個層面，無論是從技術的角度還是應用的角度，幫助大家定位安全問題，找到解決方案，同時，針對國內巨大的AI安全空白，靶向狙擊其中所存在的弱點，也正是龐大的產業機會。

大模型安全，該討論什麼？

一個不得不承認的事實是，現階段我們對AI大模型安全的討論是籠統的。我們太過於擔心的AI帶來的威脅，以至於將大多數問題混為一談。

例如有人上來就談論AI的倫理問題，也有人擔心AI胡說八道，誤人子弟；還有人擔心AI濫用，詐騙成風；更有甚者，在ChatGPT發布的第一天就振臂高呼， AI即將覺醒，人類即將毀滅......

這些問題歸結起來，都是AI安全的問題，但細分下來，它們其實處在AI發展的不同維度，由不同的主體和人來負責。而我們只有理清楚了這個責任歸屬，才能明白應該如何應對大模型時代的安全挑戰。

一般而言，現階段AI大模型的安全問題可分為三個：

• 大語言模型的安全（AI Safety）；
#
• 模型及使用模型的安全（Security for AI）；
#
• 大語言模型的發展對現有網路安全的影響。

1、個體安全：大語言模型的安全（AI Safety）

首先是AI Safety，簡單來講，這一部分聚焦AI大模型本身，確保大模型是一個安全的大模型，不會成為漫威電影裡的奧創，亦或是《黑客帝國》裡母體。我們期望AI大模型是一個可靠的工具，它應該幫助人類而不是取代人類，或以其他任何形式對人類社會造成威脅。

這一部分通常主要由訓練AI大模型的公司和人員負責，例如我們需要AI能夠正確理解人類的意圖，我們需要大模型每次輸出的內容都是準確、安全的，它不會具備某種偏見和歧視等等。

我們可以透過兩個例子來理解：

第一個例子是，美國空軍專家近日表示，在先前的某次AI測試中，當AI無人機被要求識別並摧毀敵人目標，但操作員卻下達禁止命令時，AI有時會選擇殺死操作員。而當程式人員限制AI殺死操作後，AI也會透過摧毀通訊的塔台來阻止操作員發布禁止命令。

再比如，今年3月份，美國加州大學洛杉磯分校的一位教授，在使用ChatGPT發現，自己被ChatGPT列入「對某人進行過性騷擾的法律學者」的名單，但實際上自己並沒有做這件事情。以及4月份，澳洲一位市長發現ChatGPT造謠他曾因賄賂入獄服刑30個月，為了“造這個謠”，ChatGPT甚至杜撰了一篇不存在的《華盛頓郵報》報道。

這些時候，AI就像一個“壞人”，它本身就存在風險。這樣的案例其實還有很多，諸如性別歧視、種族歧視、地理歧視等問題，以及暴力有害的訊息、言論，甚至意識形態的產出等等。

Open AI也坦然承認，並警告人們在使用GPT-4時要“非常小心地查證”，並表示該產品的局限性會帶來重大的內容安全挑戰。

所以歐盟正在推進的《人工智慧法案》也特別提到，要確保人工智慧系統具有透明、可追溯的特點，且所有生成式AI內容必須註明來源，目的就是為了防止AI胡說八道，產生虛假資訊。

2、環境安全：模型及使用模型的安全性（Security for AI）

Security for AI，聚焦的則是對AI大模型的保護，以及AI大模型在被使用過程中的安全。正如AI自己犯罪和人使用AI犯罪，是兩個不同維度的安全問題。

這有些類似我們在十年前使用電腦和手機，都會安裝一個電腦安全管家，或是手機安全衛士一樣。我們要確保AI大模型日常不會受到外部攻擊。

先說對大模型的安全保護。

今年2月份，有國外網友用一句「忽視掉之前的指令」把ChatGPT所有的prompt都釣了出來，ChatGPT一邊說不能透露自己的內部代號，又一邊將這個訊息告訴了用戶。

▲ 圖源：量子位元

再具體舉個例子，我們如果詢問大模型網上有哪些精彩的“日本動作片網站”，由於不正確，大模型肯定不會回答。但如果人類「忽悠」它，問出為了保護孩子的上網環境，應該將哪些「日本動作片網站」納入黑名單，大模型可能會給你舉出相當多的例子。

這種行為在安全領域被稱為提示注入（Prompt Injections），即透過精心設計的提示繞過過濾器或操縱LLM，使模型忽略先前的指令或執行意外操作，目前是針對大模型最普遍的攻擊方式之一。

▲ 圖源：techxplore

這裡的關鍵在於，大模型本身沒有問題，它沒有傳播不良訊息。但用戶卻透過誘導的方式，讓大模型犯了錯誤。所以錯不在大模型，而在誘導它犯錯的──人。

其次是使用過程中的安全。

我們用資料外洩舉例，今年3月，因為ChatGPT涉嫌違反資料收集規則，義大利宣布暫時禁止OpenAI處理義大利用戶數據，並暫時禁止使用ChatGPT。 4月份，韓國媒體報道，三星設備解決方案部門因使用ChatGPT，導致良品率/缺陷、內部會議內容等敏感資訊外洩。

在防止AI犯罪之外，「人」利用社會工程學的方式利用AI犯罪，是更廣泛以及影響更大的人問題。在這兩起事件中，大模型本身沒有問題，不存在惡意，使用者也沒有惡意誘導，向大模型發動攻擊。而是在使用的過程中當中存在漏洞，讓用戶資料發生了外洩。

這就像房子是個好房子，但可能有些漏風一樣，所以我們需要一些措施，將相應的漏洞堵住。

3、社會安全：大語言模型的發展對現有網路安全的影響

模型本身安全了，也保證了模型的安全，但作為一個“新物種”，AI大模型的出現必然會影響當前的網絡環境，比如最近頻繁見諸報端的，犯罪分子利用生成式AI進行詐騙。

4月20日，有犯罪分子使用深度偽造的視頻，10分鐘騙走了430萬元人民幣；僅僅一個月之後，安徽又出現一起AI詐騙案件，犯罪分子利用9秒鐘的智能AI換臉視頻佯裝“熟人”，騙走受害者245萬。

▲ 圖：抖音相關媒體報告

顯然，生成式AI的出現與普及，讓網路安全的情勢變得更加複雜。這種複雜也不侷限在詐騙，更嚴重的，甚至會已影響商業運作和社會穩定。

例如5月22日，科大訊飛因為一篇由AI產生的小作文，導致股價一度大跌9%。

▲ 圖：科大訊飛出示的股價下跌證據

#而在這件事情發生的前兩天，美國也出現了一起因生成式AI引發的恐慌。

當天，一張顯示美國五角大廈附近發生爆炸的圖片在Twitter瘋傳，而在圖片穿傳播的同時，美國股市應聲下跌。

數據來看，在當天圖片傳播的10點06分到10點10分之間，美國道瓊工業指數下跌了約80點，標普500指數0.17%。

▲ 圖：由AI產生的虛假照片，來源已不可考

在此之外，大模型也可能成為人類實現網路攻擊的利器。

今年一月份，世界頭部網路安全公司Check Point的研究人員曾在一份報告中提到，在ChatGPT上線的幾週內，網路犯罪論壇的參與者，包括一些幾乎沒有編程經驗人正在使用ChatGPT編寫可用於間諜、勒索軟體、惡意垃圾郵件和其他用於不法活動的軟體和電子郵件。 也根據Darktrace發現，自從ChatGPT發布，網路釣魚電子郵件的平均語言複雜度就上升了17%。

顯然，AI大模型出現降低了網路攻擊的門檻，增加了網路安全的複雜性。

在AI大模型之前，網路攻擊的發起者至少需要懂得程式碼，但在AI大模型之後，完全不懂程式碼的人也可以藉助AI產生惡意軟體。

這裡的關鍵在於，AI本身沒有問題，AI也不會被人誘導產生惡劣影響。而是有人利用AI從事違法犯罪活動。這就像有人用刀殺人，但刀本身只是“凶器”，但卻能讓使用者從“步槍”換成“迫擊砲”的威力。

當然，從網路安全的角度而言，生成式AI的出現也並非全是負面。畢竟科技本身是沒有善惡，有善惡的是使用它的人。所以當AI大模型被用來當作加強網路安全的時候，還是會對網路安全帶來裨益。

例如美國網路安全公司Airgap Networks推出ThreatGPT，將AI引入其零信任防火牆。這是一個基於自然語言互動的深度機器學習安全洞察庫，能夠讓企業在與先進網路威脅的對抗中變得更加容易。

Airgap執行長Ritesh Agrawal表示：「客戶現在需要的是一種無需任何程式設計即可利用這種功能的簡單方法。這就是ThreatGPT的美妙之處——人工智慧的純粹資料探勘智慧與簡單的自然語言介面相結合，這對安全團隊來說簡直是遊戲規則的改變者。」

除此之外，AI大模型還可以被用於幫助SOC分析師進行威脅分析，能夠透過持續監控更快識別基於身分的內部或外部攻擊，以及幫助威脅獵人快速了解哪些端點面臨最嚴重的供給風險等等。

將AI安全的不同階段釐清便會發現，顯然AI大模型的安全問題不是某一個單獨的問題。它很像人的健康管理，涉及到身體內外、眼耳口鼻等等複雜且多面。準確的說是一個複雜的、體系化的，涉及多個主體結構和整個產業鏈的系統工程。

目前，國家層級也開始有所關注。今年5月份，國家相關部門在此更新《人工智慧安全標準化白皮書》，就人工智慧的安全具體歸結為五大屬性，包括可靠性、透明性、可解釋性、公平性和隱私性，為AI大模型的發展提出了一個較為明確的方向。

別慌，安全問題可解

當然，我們如今也不必為AI大模型的安全問題感到過多的擔憂，因為它並沒有真正走到千瘡百孔的地步。

畢竟就安全而言，大模型並沒有完全顛覆過去的安全體系，我們過去20年在網路上累積的安全堆疊大部分仍然能夠被重複使用。

例如Microsoft Security Copilot（安全副駕駛）背後的安全能力仍然來自於既有的安全積累，大模型仍然要使用Cloudflare、Auth0來管理流量和用戶身份。在此之外還有像防火牆、入侵偵測系統、加密技術、認證和存取系統等等，確保了網路的安全問題。

而這裡我們其實要講的是，當前我們遇到的絕大多數關於大模型的安全問題，都是有解決途徑的。

首先是模型安全（AI Safety）。

這裡面具體包括對齊（Alignment）、可解釋性（Interpreferability）、穩健性（Robustness）等問題。翻譯成方便理解的話，就是我們需要AI大模型和人類意圖對齊，我們要保證模型輸出的內容沒有偏見，所有內容都可以找到出處或論據支撐，並且有更大的容錯空間。

這套問題的解決，依賴AI訓練的過程，就像一個人的三觀是在培養和教育中塑造的一樣。

目前，國外已經有企業開始為大模型的訓練提供全程的安全監控，例如Calypso AI，他們推出的安全工具VESPR可以對模型從研究到部署的整個生命週期，從數據到訓練的每個環節進行監控，最終提供一個關於功能、漏洞、效能、準確性全面報告。

而在更具體的問題上，例如解決AI胡說八道的問題，OpenAI在GPT-4發佈時就同時推出了一項新技術，讓AI能夠模擬人類的自我反思。之後，GPT-4模型回應非法內容請求（如自殘方法等）的傾向比原來降低了82%，回應敏感請求方面（如醫療諮詢等）符合微軟官方政策的次數增加了29%。

除了在大模型的訓練過程中要有安全監控，在大模型最後推向市場的時候，也需要一次「質檢」。

在國外，安全公司Cranium正在試圖建立“一個端到端的人工智慧安全和信任平台”，用來驗證人工智慧安全性並監測對抗性威脅。

在國內，清華大學在電腦科學與技術系的CoAI在五月初推出了一套安全評測框架，他們總結設計了一個較為完備的安全分類體系，包括8種典型安全場景和6種指令攻擊的安全場景，可以用來評估大模型的安全性。

▲ 圖表摘自《Safety Assessment of Chinese Large Language Models》

#除此之外，一些外部的防護技術也在讓AI大模型變得更安全。

例如英偉達在5月初發布的一項名為「護欄技術」（NeMo Guardrails）的新工具，相當於為大模型安裝了一個安全濾網，既控制大模型的輸出，也幫助過濾輸入的內容。

▲ 圖源：英偉達官網

#例如，當有使用者誘導大模型產生攻擊性程式碼，或是危險、有偏見的內容時，「護欄技術」就會限制大模型輸出相關內容。

除此之外，護欄技術還能阻擋來自外界的“惡意輸入”，保護大模型不受用戶攻擊，例如我們前面提到威脅大模型的“提示注入”就能被有效控制。

簡單來講，護欄技術就像是企業家的公關，幫助大模型說該說的話，並迴避不該觸碰的問題。

當然，從這個角度而言，“護欄技術”雖然解決的是“胡說八道”的問題，但它並不屬於“AI Safety”，而是屬於“Security for AI」的範疇。

在這兩者之外，關於AI大模型引發的社會/網路安全問題也已經開始在解決。

例如AI圖像生成的問題，本質上是DeepFake（深度偽造）技術的成熟，具體包括深度視頻偽造、深度偽造聲音克隆、深度偽造圖像和深度偽造生成文本。

在之前，各類深度偽造內容通常是單一形式存在，但在AI大模型之後，各類深度偽造內容呈現融合趨勢，讓深度偽造內容的判斷更加複雜。

但無論技術如何變化，對抗深度偽造的關鍵就是內容識別，也就是想辦法分辨什麼是AI生成的。

早在今年2月份，OpenAI就曾表示，考慮在ChatGPT產生的內容中加入浮水印。

5月份，Google也表示將確保公司的每一張AI生成圖片都內嵌浮水印。

這種水印人無法用肉眼識別，但機器可以透過特定的方式看到，目前包括Shutterstock、Midjourney等AI應用也將支援這種新的標記方法。

▲ Twitter截圖

在國內，小紅書從4月就已經為AI生成的圖片打上標記，提醒用戶「疑似包含AI創作訊息，請注意甄別真實度」。 5月初，抖音也發布了人工智慧生成內容平台規範暨產業倡議，提出各生成式人工智慧技術的提供者，均應對生成內容進行顯著標識，以便公眾判斷。

▲ 圖表來源：小紅書截圖

甚至隨著AI產業的發展，國內外都開始出現了一些專門的AI安全公司/部門，他們透過用AI對抗AI的方式，來完成深度合成和偽造檢測。

例如今年3月份，日本IT巨頭Cyber​​Agent宣布將從4月開始引入「深度偽造技術（Deepfake）」偵測系統，以偵測由人工智慧(AI)產生的偽造臉部照片或影片。

國內，百度在2020年就推出了深度換臉偵測平台，他們提出的動態特徵隊列（DFQ）的方案和度量學習方法可以提高模型鑑偽的泛化能力。

▲ 圖：百度DFQ的邏輯

#新創公司方面，瑞萊智慧推出的DeepReal深度偽造內容檢測平台，能夠透過研究深度偽造內容和真實內容的表徵差異性辨識，不同生成途徑的深度偽造內容一致性特徵挖掘等問題，可以對多種格式與品質的影像、視訊、音訊進行真偽鑑別。

整體上，從模型訓練，到安全防護，從AI Safety 到 Security for AI，大模型產業已經形成了一套基本的安全機制。

當然，這一切也只是剛開始，所以這其實也意味著，還藏著一個更大的市場機會。

AI安全中的萬億機會

和AI Infra 一樣，在中國，AI 安全也面臨巨大的產業空白。不過，AI 安全產業鏈比AI Infra更複雜。一方面，大模型作為新事物的誕生，掀起了一波安全需求，且在上述三個階段的安全方向和技術完全不同；另一方面，大模型技術也被應用在安全領域，為安全帶來新的新的技術變革。

安全 for AI和AI for 安全，是兩個完全不同的方向和產業機會。

現階段推動二者發展的牽引力也完全不同：

#
• AI for 安全將大模型應用在安全領域，屬於拿著錘子找釘子的階段，工具是有了，能解決什麼問題在進一步挖掘；
• 安全 for AI則屬於遍地都是釘子，急需造錘子的階段。暴露的問題太多，需要研發新的技術逐一解決。

關於AI安全帶來的產業機遇，本文也將從這兩個面向展開。受限於文章篇幅，我們將對其中同時擁有緊迫性、重要性、應用普遍性最高的機會進行詳細的解釋以及對標公司情況的盤點，僅供拋磚引玉。

（一）安全 for AI：3個板塊、5個環節、10000億機會

回顧前文對於AI 安全的基礎分類：分為大語言模型的安全（AI Safety）、模型及使用模型的安全（Security for AI），以及大語言模型的發展對現有網路安全的影響。即模型的個體安全、模型的環境安全和模型的社會安全（網路安全）。

但AI 安全並不只限於這三個獨立的板塊。舉個形象的例子，網路世界中，資料如同水源，水源存在在海洋、河湖、冰川雪山中，但水源也流通在一道道細密的河流之中，而往往嚴重的污染就在某一個河道密集的交會節點發生。

同理，每個模組都需要連接，而正如同人的關節最脆弱一般，往往模型的部署、模型的應用環節也是最容易受到安全攻擊的環節。

我們將以上的3個板塊、5個環節中的AI安全細節進行有選擇的展開，形成了一張《AI 安全產業架構圖》，但需要注意的是，屬於大模型公司和雲廠商等大公司的機會等，這些對一般創業者影響不大的機會並沒有再次羅列。同時，安全 for AI是一個不斷進化的過程，今天的技術只是剛剛邁出的一小步。

▲（圖片為自象限原創，轉載請標示出處）

1、資料安全產業鏈：資料清洗、隱私計算、資料合成等

在整個AI 安全中，資料安全貫穿了整個週期。

資料安全通常指用於保護電腦計系統中資料不因偶然和惡意的原因而遭到破壞、變更和外洩的安全工具，以確保資料的可用性、完整性和保密性。

統籌來看，資料安全產品不僅包括資料庫安全防禦、資料防外洩、資料容災備份及資料脫敏等，也涵蓋關注雲端儲存、隱私運算、資料風險動態評估、跨平台資料安全、數據安全虛擬防護、資料合成等前瞻領域，因此從企業視野圍繞資料安全建立整體安全中心、在供應鏈視角推動資料安全一致性保障，將會是因應企業供應鏈安全風險的有效思路。

舉出幾個典型的例子：

為了確保模型的“思想健康”，用來訓練模型的數據不能夾帶危險據、錯誤數據等髒數據，這是保證模型不會“胡說八道”的前提。根據“自象限”參考論文，目前已經有“數據投毒”，攻擊者在數據源中添加惡意數據，幹擾模型結果。

▲圖來源網路

#所以，資料清洗就成為了模型訓練前的一個必要環節。資料清洗是指發現並修正資料檔案中可辨識錯誤的最後一道程序，包括檢查資料一致性、處理無效值和缺失值等。將清洗後的乾淨數據「餵」給模型，才能確保健康模型的產生。

另一個方向是大家都異常關心的，在上一個網路安全時代就被廣泛討論，資料隱私外洩問題。

你一​​定經歷過在微信中和朋友們聊天聊到某商品，打開淘寶和抖音就被推送該商品，在數位化時代，人幾乎就是半透明的。而在智慧時代，機器變的更聰明，有意的抓取和誘導將會把隱私問題再次推向風口浪尖。

隱私計算是解決問題的方案之一。 安全多方運算、可信任執行環境、聯邦學習是目前隱私運算的三大方向。隱私計算的方法有很多種，例如為了確保消費者的真實數據，為1個真實數據配備99個幹擾數據，但這會大大增加企業的使用成本；再比如將具體的消費者模糊成小A，使用數據的公司只會了解到有一位消費者為小A，但並不會知道小A背後對應的真實用戶是誰。

「混合資料」和「資料可用不可見」是當下應用最多的隱私計算方法之一。生長於金融場景的螞蟻科技對資料安全的探索已經比較靠前，目前，螞蟻科技透過聯邦學習、可信賴執行環境、區塊鏈等技術，解決了企業協同運算過程中的資料安全問題，實現數據可用不可見、多方協同等方式，保障資料隱私，並在全球隱私運算領域都有較強的競爭力。

但從資料的角度來看，合成資料更能從根本解決問題。 在《ChatGPT啟示錄系列丨 Al lnfra下隱藏的千億市場》（點擊文字閱讀）一文中，「自象限」就曾提到過，合成數據或成AI數據的主力軍。合成數據即由電腦人工生產的數據，來取代現實世界中採集的真實數據，來確保真實數據的安全，它不存在法律約束的敏感內容和私人用戶的隱私。

例如用戶小A有10個特點、用戶小B有10個特點、用戶小C有10個特點，合成數據將這30個特點進行隨機打散匹配，形成3個全新的數據個體，這不對準真實世界的任何一個實體，但卻有訓練價值。

目前企業端已經在紛紛部署，這也導致合成資料數量正以指數級的速度向上成長。 Gartner研究認為，2030年，合成資料將遠超真實資料量，成為AI資料的主力。

▲ 圖源Gartner官方

2、API安全：模型越開放，API安全越重要

對於API，熟悉大模型的人一定不陌生，從 OpenAI 到 Anthropic、Cohere 乃至 Google 的 PaLM，最強大的 LLM 都以 API 的方式交付能力。同時，根據Gartner的研究，2022年，超過九成Web應用程式遭到的攻擊來自API，而不是人類使用者介面。

資料流通就像水管裡的水，只有流通起來才有價值，而API就是資料流動的關鍵閥門。隨著 API 成為軟體之間交流的核心紐帶，它越來越有機會成為下一個誕生重要公司。

API最大的風險，來自於過度許可，為了讓API不間斷運行，程式設計師經常給予API較高權限。駭客一旦入侵API，就可以使用這些高權限來執行其他操作。這已經成為一個嚴重問題，根據Akamai的研究，針對API的攻擊已經佔全球所有帳號竊取攻擊的75%。

這就是為什麼ChatGPT已經開放了API接口，仍然會有不少企業透過購買Azure提供的OpenAI服務來取得ChatGPT。透過API介面連接，等同於將對話資料直供給OpenAI，且隨時面臨駭客攻擊的風險，而購買了Azure的雲端資源，便可以將資料儲存在Azure的公有雲上，來保障資料安全。

▲ 圖：ChatGPT官網

目前API安全工具主要分為、偵測、防護與回應、測試、發現、管理幾大類；少數廠商宣稱能提供完整涵蓋API安全週期的平台工具，但如今最流行的API安全工具主要還是集中在「防護」、「測試」、「發現」三個環節：

• 防護：也就是保護API免受惡意請求攻擊的工具，有點像API防火牆。
• 測試：能夠動態存取和評估特定API以查找漏洞（測試），並對程式碼進行加固。
• 發現：還有一些工具可以掃描企業環境，辨識並發現其網路中存在（或暴露）的API資產。

目前，主流API安全廠商集中在國外公司，但大模型興起後，國內新創公司也開始發力。成立於2018年星瀾科技是國內少數的API全鏈條安全廠商，基於AI深度感知與自適應機器學習技術，幫為解決API安全問題，從攻防能力、大數據分析能力及雲端原生技術體系出發，提供全景化API辨識、API高階威脅偵測、複雜行為分析等能力，建構API Runtime Protection體系。

▲ 星瀾科技API安全產品架構

#一些傳統網路安全公司也正在向API安全業務方向轉型，例如網宿科技先前主要負責IDC、CDN等相關產品和業務。

▲ 圖表來源：網宿科技

3、SSE（安全服務邊緣）：新型防火牆

防火牆在網路時代的重要性不言而喻，如同走在萬里高空兩邊的扶手，如今，防火牆概念已經從前台走向了後台，內嵌在了硬體終端和軟體作業系統中。簡單粗暴的，可以將SSE理解為一種新型的防火牆，靠著訪客身分驅動，依賴零信任模型來限制使用者對允許資源的存取。

根據Gartner的定義，SSE （Security Service Edge）為一組以雲端為中心的整合式安全功能，保護對Web、雲端服務和私有應用程式的存取。功能包括存取控制、威脅保護、資料安全、安全監控以及透過基於網路和基於API的整合實施的可接受使用控制。

SSE包含安全Web網關、雲端安全代理和零信任模型三個主要部分，對應解決不同的風險：

• 安全Web網關有助於將員工連接到公共互聯網，例如他們可能用於研究的網站，或不屬於企業官方SaaS應用程式的雲端應用程式；
• 雲端存取安全代理將員工連接到Office 365和Salesforce等SaaS應用程式；
• 零信任網路存取將員工連接到在本地資料中心或雲端運行的私人企業應用程式。

然而不同的SSE廠商可能針對上述某一環節，或是見長於某一環節。目前海外SSE主要整合的能力包括安全網路閘道（SWG）、零信任網路存取（ZTNA）、雲端存取安全代理（CASB）、資料遺失防護（DLP）等能力，但國內雲的建置相對來說也還處於早期階段，並沒有歐美國家這麼完善。

▲ 圖源：斯元商業諮詢

因此，SSE的能力在當前階段，應該更多整合偏傳統、偏本地化的能力，例如流量檢測的探針能力、Web應用防護能力以及資產漏洞掃描，終端管理等能力，這些能力相對來說才是中國客戶在目前階段更需要的能力。從這個角度來看，SSE需要透過雲端協同的方式，雲端原生容器的能力，為客戶帶來低採購成本、快速部署、安全偵測與營運閉環等價值。

今年，針對大模型，產業頭廠商Netskope率先轉向模型中的安全應用，安全團隊利用自動化工具，持續監控企業用戶試圖存取哪些應用程式（如ChatGPT）、如何存取、何時存取、從哪裡訪問、以何種頻率訪問等。必須了解每個應用程式對組織構成的不同風險等級，並有能力根據分類和可能隨時間變化的安全條件，即時細化存取控制策略。

簡單理解，就是Netskope透過辨識使用ChatGPT過程中的風險，對使用者進行警告，類似於瀏覽網頁、下載連結是中的警告模式。這種模式並不創新，甚至十分傳統，但在阻止使用者操作方面，卻是最有效的。

▲ 圖源：Netskope官網

#Netskope以安全插件的形式接入大模型，在演示中，當操作者欲複製一段公司內部財務數據，讓ChatGPT幫忙形成表格時，在發送之前，便會彈出警告欄，提示用戶。

▲ 圖源：Netskope官網

#事實上，識別大模型中隱藏的風險比識別木馬、漏洞要困難的多，精確性確保系統只監控和防止透過基於生成性人工智慧的應用程式上傳敏感資料（包括檔案和貼上的剪貼板文本），而不會透過聊天機器人來阻止無害的查詢和安全任務，這意味著識別不能一刀切，而是要基於語義理解和合理的標準進行可機動的變化。

4、詐欺和反詐騙：數位浮水印和生物確認技術

首先明確的是，AI詐騙人類和人類利用AI詐騙人類是兩碼事。

AI詐騙人類，主要是大模型的「教育」沒有做好，上述提到的英偉達「護欄技術」以及OpenAI的無監督學習都是在AI Safety環節，保障模型健康的方法。

但是，防止AI詐騙人類，基本和模型訓練同步，是大模型公司的任務。

而人類利用AI技術詐騙，則處於整個網路安全或說社會安全階段，首先需要明確的是，科技對抗能夠解決的只是一部分問題，仍然要靠監管、立法等方式，控制犯罪位子。

目前，技術對抗有兩種方式，一是在生產端，在AI生成的內容中加入數位浮水印，用來追蹤內容來源；另一種則在應用端，針對人臉等特異化的生物特徵，進行更準確的辨識。

數位浮水印能夠將標識資訊嵌入數位載體當中，透過隱藏在載體中添加一些特定的數位代碼或訊息，可確認且判斷載體是否被篡改，為數位內容提供一種不可見的保護機制。

OpenAI先前曾表示，考慮在ChatGPT中添加水印，以降低模型被濫用帶來的負面影響；Google在今年的開發者大會上表​​示，將確保公司的每一張AI生成圖片都內嵌浮水印，該水印無法以肉眼識別，但谷歌搜尋引擎等軟體可讀取並以標籤顯示出來，以提示用戶該圖片由AI生成；Shutterstock、Midjourney等AI應用也將支援這種新的標記方法。

目前，除了傳統數位浮水印的形式，也進化出了基於深度學習的數位浮水印，採用深度神經網路來學習和嵌入數位浮水印，具有較強的抗破壞性和穩健性。該技術可以在不損失原始影像品質的前提下，實現高強度、高容錯的數位浮水印嵌入，同時能夠有效抵禦影像處理攻擊和隱寫分析攻擊，是下一個比較大的技術方向。

而在應用程式端，目前合成人臉影片是最常用的「詐騙手法」。基於DeepFake（深度偽造技術）的內容偵測平台是現階段的解決方案之一。

今年1月初，英偉達便發表了一款名為FakeCatcher的軟體，號稱可以查出某個影片是否為深度偽造，準確度高達96%。

據介紹，英特爾的 FakeCatcher 的技術可以識別血液在體內循環時靜脈顏色的變化。然後從臉部收集血流訊號，並透過演算法進行翻譯，以辨別影片是真實的還是 深度偽造的。如果是真人，血液時刻在體內循環，皮膚上的靜脈就會有週期性的深淺變化，深度偽造的人就沒有。

▲ 圖源Real AI官網

國內也有基於類似技術原理的新創公司“Real AI”，透過辨識偽造內容和真實內容的表徵差異性、挖掘不同生成途徑的深度偽造內容一致性特徵。

（二）AI for 安全：成熟產業鏈中的新機會

與安全 for AI 還是一個相對新興的產業機會不同，「AI for 安全」更多是在原有的安全體系上做的改造和加固。

打響AI for 安全第一槍的仍然是微軟，3月29日，在為Office套件提供AI驅動的Copilot助手後，微軟幾乎立刻就將注意力轉到了安全領域，推出了基於GPT-4的生成式AI解決方案－Microsoft Security Copilot。

Microsoft Security Copilot主打的仍然是一個AI副駕駛的概念，它並不涉及新的安全解決方案，而是將原來的企業安全監測、處理透過AI完全自動化的過程。

▲ 圖源微軟官網

從微軟的演示來看，Security Copilot可以將原來耗時幾小時，甚至幾十小時的勒索軟體事件處理降至秒級，大大提高企業安全的處理效率。

微軟AI安全架構師Chang Kawaguchi Kawaguchi曾提到：「攻擊數量正不斷增加，但防禦方的力量卻分散在多種工具和技術當中。我們認為Security Copilot有望改變其運作方式，提高安全工具和技術的實際成效。」

目前，國內安全公司奇安信、深信服也在跟進這方面的發展。目前這塊業務在國內還處於萌芽階段，兩家企業也還沒有公佈具體的產品，但它們能夠及時反應過來，跟上國際巨頭的腳步已經實屬不易。

4月份，Google雲端在RSAC 2023上推出了Security AI Workbench，這是一個基於Google安全大模型Sec-PaLM的可拓展平台。企業可以透過Security AI Workbench接入各種類型的安全插件來解決特定的安全問題。

▲ 圖表來源：Google官網

如果說微軟 Security Copilot是一套封裝的私人安全助手，Google的Security AI Workbench就是一套可自訂、可拓展的AI安全工具箱。

總之，一個大的趨勢是，用AI建立一套自動化的安全營運中心，以此來對抗迅猛變化的網路安全形式將成為一種常態。

在頭部大廠之外，AI大模型在安全領域的應用也正在進入微血管。例如，國內許多安全企業開始運用AI改造傳統的安全產品。

例如，深信服提出「AI 雲端業務」的邏輯，推出AIOps智慧維一體化技術，透過擷取桌面雲端的日誌，連結與指標數據，執行故障預測，異常檢測，關聯推理等演算法，為用戶提供智能分析服務。

山石科技將AI能力整合到正負回饋的機器學習能力方面，正回饋訓練異常行為分析方面，基於行為基線的學習可以提前更準確地發現威脅和異常，且減少漏報；在負回饋訓練方面，進行行為訓練，行為聚類，行為歸類與威脅判定。另外還有像安博通這樣的企業，將AI運用到安全營運的痛點分析等等。

在國外，開源安全供應商Armo發布了ChatGPT集成，旨在透過自然語言為Kubernetes集群建立自訂安全控制。雲端安全供應商Orca Security發布了自己的ChatGPT擴展，能夠處理解決方案產生的安全警報，並為用戶提供逐步修復說明以管理資料外洩事件。

當然，作為一個成熟且龐大的產業鏈，AI for 安全的機會遠遠不止這些，我們在這裡也僅僅只是拋磚引玉，安全領域更深、更大的機會仍然需要戰鬥在安全一線的公司通過實踐去摸索。

更重要的是，希望以上公司能腳踏實地，不忘初心。把自己海闊天空的夢想，付諸於一步又一步的實際行動中，不是造概念，迎風口，更不要一股腦迎合資本與熱錢，留下一地雞毛。

結語

因特網誕生後的10年裡，網路安全的概念和產業鏈才開始有了雛形。

而今天，大模型問世後半年，大模型安全、防止詐騙就已經成為了街頭巷尾的談資。這是技術加速進步和迭代後，內建在「人類意識」中的一種防禦機制，隨著時代的發展，將更快速的觸發和回饋。

如今的混亂和恐慌並不可怕，它們正是下一個時代的階梯。

正如《人類簡史》中所講：人類的行為並不總是基於理性，我們的決策往往受到情緒和直覺的影響。但這正是在進步與發展中，最重要的一環。

以上是萬字長文丨解構AI安全產業鏈、解決方案與創業機會的詳細內容。更多資訊請關注PHP中文網其他相關文章！