試想一下,有人將一張“貼紙”貼在面部,就可以使人臉識別門禁系統誤認為是你,從而輕而易舉地打開大門;同樣是這張“貼紙”,把它貼在眼鏡上,就可以1秒鐘解鎖你的手機人臉識別,探取隱私如入無人之境。這並非科幻大片的想像,而是首屆人工智慧安全大賽頒獎典禮現場展示的真實攻防場景。
前不久,由國家工業資訊安全發展研究中心、清華大學人工智慧研究院和北京瑞萊智慧科技有限公司等單位共同主辦的首屆人工智慧安全大賽落幕。大賽期間,有關人工智慧安全風險引發討論。與會專家表示,人工智慧安全風險已非未來挑戰,而是眼前威脅,要重視人工智慧安全體系建設,加速促進人工智慧安全領域關鍵技術研究與攻防實務。
人工智慧和其他通用技術一樣,在高歌猛進的同時,也帶來了一定的風險和隱患。曾獲「吳文俊人工智慧優秀青年獎」的瑞萊智慧執行長田天認為,人工智慧技術風險發生的範圍,正隨著應用場景的日趨廣泛而逐步擴大,風險發生的可能性也隨著其應用頻次的成長而持續提高。在他看來,人工智慧目前的安全風險主要可以從「人」與「系統」這兩個視角來剖析。
從人的角度來評估人工智慧的安全問題,首當其衝就是技術的兩面性問題,存在著人工智慧濫用的問題。具體到人工智慧的應用中來看,最典型的代表就是深度偽造技術,它的負向應用風險持續加劇且已產生實質危害。
這次大賽的人臉辨識破解演示,所揭示的正是系統的風險,它來自深度學習演算法本身的脆弱性。以深度學習演算法為核心的第二代人工智慧是個“黑盒子”,具有不可解釋性,意味著系統存在結構性的漏洞,可能受到不可預測的風險,典型的就比如現場演示的“神奇貼紙” ,其實就是“對抗樣本攻擊”,透過在輸入資料中添加擾動,使得系統做出錯誤判斷。
這漏洞在自動駕駛感知系統同樣存在。正常情況下,在識別到路障、指示牌、行人等目標後,自動駕駛車輛就會立即停車,但在目標物體上添加干擾圖案後,車輛的感知系統可能會出錯,徑直撞上去。
大賽期間,《人工智慧算力基礎設施安全發展白皮書》發布。其中提到,人工智慧算力基礎設施不同於傳統的算力基礎設施,既是“基礎設施”又是“人工智慧算力”也是“公共設施”,具有基建屬性、技術屬性、公共屬性三重屬性。相應地,推動人工智慧算力基礎設施安全發展應從強化自身安全、保障運作安全、助力安全合規三個面向發力。
統籌發展與安全,似乎是每項新科技發展過程中面臨的必然問題,如何實現高水準發展與高水準安全的良性互動,也是當前人工智慧產業發展最為重要的命題之一,現場多位專家就此話題展開討論。
「人工智慧對抗攻防包括對抗樣本、神經網路後門、模型隱私問題等多方面技術。模型有錯誤,就需要及時的修復。」中國科學院資訊安全國家重點實驗室副主任陳愷提出「神經網路手術刀」的方法,透過定位引發錯誤的神經元,進行精準「微創」修復。
陳愷表示,不同於傳統的模型修復工作需要重新訓練模型,或者依賴較大量的數據樣本,這種方式類似於“微創手術”,只需極少量數據樣本,能夠大幅提升模型修復效果。
開放環境下的人工智慧系統面臨諸多安全挑戰,如何解決通用人工智慧演算法全週期的安全保障問題成為重中之重。
北京航空航天大學軟體開發環境國家重點實驗室副主任劉祥龍表示,從技術上來看應形成從安全性測試到安全性分析與安全性加固的完整技術手段,最終形成標準化的測試流程。
他同時指出,未來的人工智慧安全應該圍繞著從資料、演算法到系統各個層次的全面評測,同時配合一套從硬體到軟體的安全可信任運算環境。
工商銀行金融研究院安全攻防實驗室主管專家蘇建明表示,人工智慧安全治理需要廣泛協作和開放創新,需加強政府、學術機構、企業等產業各參與者的互動合作,建立積極的生態規則。政策層面加速人工智慧的立法進程,加強對人工智慧服務水準、技術支撐能力等專案監督考核力度。學術層面,加大對人工智慧安全研究的激勵投入,透過產學研合作模式加速科研成果的轉化與落實。企業層面,逐步推動人工智慧技術由場景拓展向安全可信發展轉變,透過參與標準制定,推出產品服務,持續探索人工智慧安全實踐及解決方案。
事實上,建構人工智慧的安全生態,一方面需要技術的持續演進,一方面也需要專項技術人才的建構與培養。田天表示,由於人工智慧安全研究目前仍屬於新興領域,專項人才較少,缺乏系統性的研究隊伍,此次大賽透過實戰演練的方式,驗證和提升選手實戰能力,為培育一批高水平、高層次的人工智慧安全新型人才團隊提供了「快速通道」。
專家們認為,從長遠看,人工智慧的安全問題,還需從演算法模型的原理上突破,唯有持續加強基礎研究,才能破解核心科學問題,同時他們強調,人工智慧的未來發展需確保對整個社會、國家發展的有效性和正向促進性,需要政產學研用多方協同共進。
以上是人工智慧高歌猛進背後暗藏多重安全風險的詳細內容。更多資訊請關注PHP中文網其他相關文章!

Meta攜手Nvidia、IBM和Dell等合作夥伴,拓展了Llama Stack的企業級部署整合。在安全方面,Meta推出了Llama Guard 4、LlamaFirewall和CyberSecEval 4等新工具,並啟動了Llama Defenders計劃,以增強AI安全性。此外,Meta還向10個全球機構(包括致力於改善公共服務、醫療保健和教育的初創企業)發放了總額150萬美元的Llama Impact Grants。 由Llama 4驅動的全新Meta AI應用,被設想為Meta AI

公司開創性的人類互動公司Joi AI介紹了“ AI-Iatsionship”一詞來描述這些不斷發展的關係。 Joi AI的關係治療師Jaime Bronstein澄清說,這並不是要取代人類C

在線欺詐和機器人攻擊對企業構成了重大挑戰。 零售商與機器人ho積產品,銀行戰斗帳戶接管以及社交媒體平台與模仿者鬥爭。 AI的興起加劇了這個問題,Rende

AI代理人有望徹底改變營銷,並可能超過以前技術轉變的影響。 這些代理代表了生成AI的重大進步,不僅是處理諸如chatgpt之類的處理信息,而且還採取了Actio

人工智能對關鍵NBA遊戲4決策的影響 兩場關鍵遊戲4 NBA對決展示了AI在主持儀式中改變遊戲規則的角色。 首先,丹佛的尼古拉·喬基奇(Nikola Jokic)錯過了三分球,導致亞倫·戈登(Aaron Gordon)的最後一秒鐘。 索尼的鷹

傳統上,擴大重生醫學專業知識在全球範圍內要求廣泛的旅行,動手培訓和多年指導。 現在,AI正在改變這一景觀,克服地理局限性並通過EN加速進步

英特爾正努力使其製造工藝重回領先地位,同時努力吸引無晶圓廠半導體客戶在其晶圓廠製造芯片。為此,英特爾必須在業界建立更多信任,不僅要證明其工藝的競爭力,還要證明合作夥伴能夠以熟悉且成熟的工作流程、一致且高可靠性地製造芯片。今天我聽到的一切都讓我相信英特爾正在朝著這個目標前進。 新任首席執行官譚立柏的主題演講拉開了當天的序幕。譚立柏直率而簡潔。他概述了英特爾代工服務的若干挑戰,以及公司為應對這些挑戰、為英特爾代工服務的未來規劃成功路線而採取的措施。譚立柏談到了英特爾代工服務正在實施的流程,以更以客

全球專業再保險公司Chaucer Group和Armilla AI解決了圍繞AI風險的日益嚴重的問題,已聯手引入了新型的第三方責任(TPL)保險產品。 該政策保護業務不利


熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

MantisBT
Mantis是一個易於部署的基於Web的缺陷追蹤工具,用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

SAP NetWeaver Server Adapter for Eclipse
將Eclipse與SAP NetWeaver應用伺服器整合。

SublimeText3漢化版
中文版,非常好用

MinGW - Minimalist GNU for Windows
這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。

Safe Exam Browser
Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。