「AI詐騙」衝上熱搜，AI「出籠」後如何「向善」？ ｜鈦度熱評

近期，包頭市公安局電信網路犯罪偵查局發布了一起使用智慧AI技術進行電信詐騙的案件，受害者10分鐘內被騙430萬元，「AI詐騙」的話題，衝上熱搜。

隨著AI技術的愈發成熟，擬真度和欺騙性都越來越強，以假亂真的AI歌手、酷似明星的主播等等，當容貌、聲音都能被「高仿」時，人們應該如何防範？

目前對於生成式AI的規範建設進度如何？ AI科技的應用如何規避法律風險？

目前頻傳的侵權、詐騙事件是否會限制產業的發展？

本期《鈦度熱評》特邀資深媒體人一起就話題「AI詐騙」衝上熱搜，AI「出籠」後如何「向善」？進行了討論，以下是部分觀點集錦。

關於當容貌、聲音都能被「高仿」時，人們該如何防範。

貝多財經主理人賈小俊表示，工具是中立的，關鍵在於如何去使用，「AI詐騙」就是典型的例子。對一般人來說，這類AI技術所產生的詐騙非常難以辨別，尤其是在模擬了聲音和影片的情況下。

之所以能夠出現AI詐騙，本質上還是個人資訊外洩所帶來的問題，對方能夠掌握相關方的敏感信息，準確提供帳戶、地址等資料，也能夠獲取通訊錄，進而騙取用戶資金。

對於一般人來說，涉及資金這一類情形時，必須要保持敏感度，認真核對是否有問題，最好能夠做到交叉驗證，看緊自己的錢包。

從監管的角度來說，應該加強科技人員的引進，對相關對抗技術進行創新，做到能夠及時有效的提醒、防範等。同時，強化平台進入門檻，採取合理攔截措施。

《鯨平台》智庫專家郭施亮表示，人人都在談AI，但人們看到更多AI的好處，卻很少看到AI帶來的負面影響。有人10分鐘被騙了430萬，關鍵是騙子利用了AI換臉技術，而且受害者也通過了視頻驗證後，才把錢轉過去，想不到竟然是一個騙局，而且這是一個高端的騙局，似乎表現毫無破綻。

後來，在銀行全力協助之下，用時10分鐘，把該詐騙帳戶內的336.84萬元被騙資金成功攔截，但依然有93.16萬元資金仍在追繳之中。 AI詐騙手法很高明，既使用了聲音合成技術，也使用了AI換臉技術，竟然還可以侵入對方好友的聯絡方式，並成功盜取好友的錢財。

AI時代的到來，帶來了機遇，也帶來了考驗。這時候，騙子使用新科技詐騙，防騙手段也需要與時俱進，大家的防騙意識也需要得到提升，但凡牽涉到轉帳等敏感內容，都應該要打起十二分精神。 AI時代全面到來，與之相關的法律法規也需要跟進到位，科技在進步，監管執法能力與防騙技術也需要與時俱進。

盤古智庫資深研究員江瀚表示，隨著人工智慧技術的發展，AI詐騙也開始出現。 AI詐騙是利用了人工智慧技術的一種詐騙行為，這種詐騙方式優勢在於可實現更高頻率的攻擊、更精準的針對性及更高效的欺騙效果，也是技術發展過程中的雙刃劍。對於此類詐騙現象，該如何看待與因應？

首先，頻傳的詐騙事件需要大家不斷提升學習能力，辨識潛在的詐騙風險。 AI技術從基礎資料分析、模型訓練、人工智慧決策等方面強化了不法分子的攻擊手段，對消費者來說，防範此類詐騙，需要提升自身的技術認知和風險辨識能力。需要盡量不給未知電話接聽機會，不輕信、不被騙，保護自己的隱私和財產安全。

其次，企業需要加強自律，監管需要引導市場規範，而個人則應進一步強化風險防控意識。 AI技術可以為企業帶來效率和競爭優勢，但也應注意創新與合規之間的平衡，尤其在涉及用戶資訊、隱私等敏感領域時，企業更是要強化自律和合規把控。對監管機構來說，需要引導市場規範發展，防範這類違法犯罪行為。對於個人來說，應積極參與公共安全的管理，學習防詐騙新知識，並增強識別潛在詐騙的能力。

長期來看，生成式大模型的AI風口還在繼續，但如何利用AI這個工具變好，需要每個人去共同努力。在AI的發展過程中，需要重視科技的合規性、安全性，並促進AI科技與傳統法律、道德和倫理的實現。 AI發展不能單純追求速度和效率，同時也應立足於研究人性，不忘初心目的地利用好人工智能來更好的服務社會，探索優化AI 的範式，防範潛在的濫用和危害，助力AI良性發展。

新經濟觀察團主編畢曉娟表示，所謂道高一尺魔高一丈，科技一直是一把雙面刃。過去幾年，可以看到大數據和共享經濟發展帶來了可觀的經濟社會效益，但副產品卻是個人隱私資訊的大量洩露，電信網路詐騙、騷擾簡訊層出不窮。但伴隨監管的查缺補漏、政策法規的及時跟進以及公眾防範意識的提高，類似的詐騙事件得到一定緩解。

如今同樣的進程也在AI領域上演。 AI技術的商業價值持續釋放，但也使詐騙分子AI「如虎天翼」：透過換臉、聲音模擬等手段冒充用戶的親友，幾乎能做到以假亂真的詐騙，用戶很難分辨，極易上鉤。不僅如此，利用AI技術，犯罪分子可以同時對大量使用者同步實施詐騙，帶來的危害範圍更廣、受害者的財產損失也更大。

但作為一個普通用戶，在AI面前絕對不是毫無招架之力的。首先，要提高對個人財產的風險防範意識，警惕這種新型詐騙手段；其次，強化個人資訊保護，不要大量註冊非官方、交友類APP；再次，若對方透過音訊、視訊手段要求借錢、轉賬的，無論對方表現出多麼急切的狀態，盡量使用多個手段、有條件的話進行線下驗證再轉賬，涉及大額轉賬，甚至可去銀行櫃檯辦理；最後，如果不幸上當，要第一時間報警處理，並聯絡相關銀行最大可能停損。

在法律法規和監管方面，應及時跟進，對AI技術的發展應用設定門檻和防火牆，推動AI向善。好消息是，4月初，國家網信辦起草了《生成式人工智慧服務管理辦法（徵求意見稿）》，向社會公開徵求意見，目的是促進我國AI產業科學有序、健康規範發展，杜絕亂象和侵權行為。

對於AI從業機構來說，則要跟隨國家監管政策走向，保持對AI倫理道德的敏感度，實現技術發展和企業責任的統一。

產業觀察者文子表示，對AI 安全的研究最早可以追溯到2008年。到現在已經包含了眾多領域。 2022 年對自然語言處理 (NLP) 社群的一項調查中，37% 的人同意或略微同意，人工智慧決策可能導致「至少與全面核戰一樣糟糕」的災難。不過，也有一些不同的聲音，例如史丹佛大學兼職教授 Andrew Ng 將其比作「在我們甚至還沒有踏上地球時就擔心火星上的人口過剩。」

Dr. Samuel Bowman的觀點是對這個問題比較中肯的理解——與其停止在世界各處對AI/ML的研究，人們更應該確保以負責任的方式，構建和部署所有足夠強大的人工智慧系統。

網路京日記創始人張京科表示，對於AI高速製造的大量訊息，人類將不可避免再度面臨網路資訊爆炸時代百倍以上虛假資訊的困擾。

想要保護多數人免受其害，可以參考傳統新聞以及著作版權保護模式。即訊息傳播需要標註出處，如果是AI寫作，需要標註作者。這也是網友和資本為消除資訊傳播中介所付出的必要代價，長期來看，缺乏監督的免費資訊將不再具有公平與效率可言。

關於目前對於生成式AI的規範建構進度如何？ AI科技的應用如何規避法律風險？

多少說主理人螢少軍表示，首先，傳播和輿論領域，往往是“好事不出門，壞事傳千里”，利用AI詐騙，本質上來說並不是新鮮事，而且也只是萬千詐騙手段之一，但因為和時下流行的AI技術和應用關聯捆綁，就很容易發酵成為熱點事件，受到各方輿論的關注，甚至一定程度上形成了對新技術新領域的討伐，要求監管新技術的呼聲又會短時間迸發。但是目前來說，完全沒必要對新技術和新領域過度關注和過早特別監管，畢竟任何新技術新領域的發展都需要發展壯大，都需要時間和寬容度，甚至有時還需要一定的“野蠻生長”時間和空間。

第二，對於新領域和新技術，監管和立法往往是滯後的，此事更多的需要企業和行業自律，企業在發展業務和技術的同時，要更多地考慮到自身肩負的社會責任，在研發設計階段，有更好的預判與預防。同時，要加強用戶教育和科普，讓用戶和一般受眾也能了解新技術和新領域，防患於未然。同時用戶和受眾本身也要多學習和關注，同時一定要多一個心眼，賺錢和借錢轉賬等要多方式核對，同時千萬別相信「天上會掉餡餅」。

第三，新科技可以用於詐騙，但換一個角度，新科技的出現，也可以用於防詐和反詐。很多時候技術是中立的或是中性，關鍵看怎麼應用和規範。目前頻繁的侵權、詐騙事件的事件不會制約行業的發展，反而會促進行業規範化發展，畢竟野蠻生長之後，負面事件的頻發，一方面會引發輿論監督，自然會觸發企業和行業更加自律，另一方面監管和立法的角度肯定也會加快，最終講行業推向更加規範化發展。

最後，要防止極端思維和過度監管思維，即使有負面事件發生，一方面需要監管和立法規範；另一方面，也需要監管和立法的同時考慮寬容度和時間，給行業足夠的發展空間。畢竟往大了說，AI，尤其是AIGC等領域，未來發展可能不僅事關企業產業，還事關國家在科技領域的話語權等，各方都有責任讓新科技發展得更好、更穩。

網路科技部落客皮皮推表示，AI人工智慧技術越來越成熟，到底有沒有風險，以及如何規避？通義千問到的答案是：AI人工智慧技術的發展確實為人們帶來了許多便利性和機會，但同時也帶來了一些風險和挑戰。

規避AI風險可以從以下幾點來入手，首先是資料隱私：收集和使用個人資料時需要遵守嚴格的隱私和保護規定，確保資料不會被濫用或洩露。第二，透明度和可解釋性：AI系統應該具有透明度和可解釋性，以便人們理解其決策和行為。第三，安全性：確保AI系統的安全性，包括防止惡意攻擊、資料備份與復原、錯誤修正等面向。第四，法律合規性：確保AI系統符合相關法規與倫理規範，避免與法律衝突。第五，技術水平：確保AI系統的技術水平，防止出現技術濫用或誤用的情況。最後，合作和協作：與其他利害關係人合作和協作，確保AI系統的開發和應用符合公共利益和社會責任。

總之，規避AI風險需要確保AI系統的開發、使用和管理符合道德、法律和安全標準，同時需要加強教育和公眾參與，促進AI技術的健康發展。

種火國際戰略發展部總監鄭陽表示，目前AI詐騙的類型主要包括聲音合成、AI換臉，以及利用大數據和AI技術對資訊進行篩選、過濾，從而鎖定目標人群等。技術本來就是一把雙面刃，簡訊電話詐騙、盜號、p2p等歷史經驗一次又一次的驗證著一個真理，那就是每一次新科技的迭代都會帶來層出不窮的科技詐騙。

利用逆向思考來思考，首先AI詐騙的核心在於可以以假亂真，防範和監管的重點就在於如何更簡單的識別AI生成內容，如何讓普通人深入了解AI技術可能產生的風險（常識普及） 。其次AI詐騙技術的基礎在於數據，防範和監管的重點就是如何防止個人資訊的洩漏和濫用。

另外從監管的角度來說，一方面需要提前對易受騙人群進行精準的教育和防控，例如空巢老人、狂熱追星族等。另一方面可以對網路婚戀、交友、貸款、網路遊戲等管道進行嚴密監管。

任何一種技術在市場化的過程中，其社會價值與經濟價值都需要實現平衡。就目前的AI技術發展來說，較突出的社會性議題有隱私和資料保護風險、智慧財產權侵權風險、道德倫理風險等。而這些問題勢必會影響AI技術的市場化速度，但這本身就是技術落地必經的過程。

AI技術想要從根本上減少法律風險，一方面需要AI技術及其工具的生產公司進行平台的自我監管，例如Google將標記其工具創建的每一個AI生成圖像的行為就是一個良好的開端。另外一方面則需要相關部門盡快建立相關的監管法律法規和標準體系，明確法律邊界和責任主體，例如4月份網信辦發布的條例中要求提供AI服務的組織與個人需要承擔內容生產者的責任。

大力財經創辦人魏力表示，從目前的公佈的AI詐騙案件資訊來看，AI詐騙所涉技術主要為深度合成技術，包括AI換臉技術、語音（聲音）合成技術和文本生成模型。不法分子可以使用AI換臉技術製作虛假的影片或照片，以冒充他人身分進行欺騙。

在技術層面，也有許多技術公司和研究人員積極實踐，透過「技術反制」的方式來識別這類AI深度合成內容，這些「技術反制」產品通常也是基於深度學習技術，例如，透過分析影片的特徵、處理痕跡以及偵測人臉特徵的「不吻合性」來辨識AI生成影片。

從法律防治方面，國家機關、平台、個人共同努力，平台在依各類法規要求不斷提升審核、監測能力的同時，個人也需要時時提高警覺。可能，還需要建立協作和共享資料庫，收集和儲存已確認的影片樣本，或建立反AI詐騙聯盟等執法實踐。

如何讓人工智慧技術“科技向善”，成為了當前亟待解決的問題。首先，資料隱私和安全非常重要。需要加強對於人工智慧技術的監管和管理，以防止個人資訊被濫用和誤用。其次，需要加強人工智慧技術的安全性和可靠性，透明和公正。最後，需要加強人工智慧技術的教育和普及，提高大眾的科技素養和安全意識，避免被騙和受害。

關於目前頻傳的侵權、詐騙事件是否會限制產業的發展？

資深媒體人祖騰飛表示，“技術本身是無罪的”，關鍵看誰來運用。 AI這種新技術不是今天才有的，詐騙牟利的「壞人」也不是今天才有的，不能因噎廢食。從全球角度來看，AI幾乎是各國都大力發展的方向，它能應用在多個領域，能解放生產力、提高生產效率。

追根溯源，AI詐騙的源頭是個人資訊外洩。更早前，因為個人資訊洩露，大家被電話騷擾、簡訊轟炸，再加上現在的AI詐騙，個人資訊保護已經到了不得不做的地步。各類APP在下載時就要求讀取電話、照片、地理位置等等，那這些資訊是否被相關軟體企業有效保護了呢？還是被別有用心之人拿來倒賣、牟利？

應對AI詐騙這種新型式，還是要做到各個反詐博主科普的那些知識點，例如保護個人資訊、對訊息進行核實、不轉帳不支付等等。同時相關企業也要嚴格遵守相關政策，健全AI技術倫理規範，加強安全監管措施。

唐辰同學主理人唐辰表示，AIGC發展過程中出現的負面案例不可避免，AI詐騙、數位人、換臉等，都是人工智慧工具能力的呈現。如何規避人工智慧發展帶來的負面效應，根本上還是要規範人工智慧為誰所用。前兩天，孫燕姿回應「AI孫燕姿」引發的版權爭議稱「凡事皆有可能，凡事皆無所謂，我認為思想純淨、做自己，已然足夠。」孫燕姿的這番回應得到大眾極高的評價，除了簡單的文采好、格局大的稱讚外，更重大的深意在於她呈現了人之所以為人的底氣，這也是人類自信人工智慧短時間內無法取代人類的底氣。她的心態也應該成為大眾的參考。

同樣的，這個邏輯也適用於人工智慧正在改造的任何產業。正如OpenAI執行長薩姆奧特曼所言，人工智慧技術將重塑大家所知的社會，可能是“人類迄今為止發展出的最偉大的技術”，將極大地改善人類的生活。但正視它會帶來真正的危險，人們應該為對此有點害怕而感到高興。心存敬畏，才能在科技發展中把人工智慧技術為人類所用。在這個過程中，人們擔心的不是科技本身，就像孫燕姿本尊並不過度擔心AI孫燕姿，而是人類使用科技的動機。大家更該關注，到底希望科技進化成什麼樣子？而非科技會把人類改造成什麼樣子？這或許才是問題的本質。

《鈦度熱評》是由鈦媒體推出的熱門事件觀察欄目，主要邀請對不同行業發展、不同商業模式有著獨到見解、深度觀察的媒體人和行業從業者，透過多角度解讀全面展示事件的影響和意義。

如果你關心最新趨勢、有自己的獨特見解、想同更多志同道合的人分享交流觀點，歡迎添加《鈦度熱評》社群小助手微信：taiduzhushou，加入《鈦度熱評》社群，跟我們一起打造一個思考者的社群，讓有價值的思考被更多的人看到！

以上是「AI詐騙」衝上熱搜，AI「出籠」後如何「向善」？ ｜鈦度熱評的詳細內容。更多資訊請關注PHP中文網其他相關文章！