基於深度學習的文本情緒辨識技術在5G不良訊息安全管控平台的應用

作者｜ 孫越，單位：中移（杭州）資訊科技有限公司| 中國移動杭州研發中心

Labs 導讀

隨著5G網路的不斷普及，大量用戶開始接觸並使用5G網路。 5G網路不僅可以傳送傳統網路的語音、視訊、文字等訊息，還可以憑藉更低時延及高精準的定位能力，被使用在更多具有實用價值的應用場景中，如：戰地實況資訊、衛星定位導航等等。

網路資訊時常會夾雜不良訊息，如涉政訊息、涉黃訊息、涉黑訊息、涉詐訊息、商業廣告訊息等，且不良訊息數量呈現逐年上升趨勢，造成了使用者巨大騷擾。為了淨化網路環境，有效管控不良訊息傳播，中國移動5G不良訊息安全管控平台應運而生。

資料來源：中國行動集團資訊安全中心

1、5G不良資訊管控平台的應用場景

#該平檯面對繁雜的網路資訊環境時，諸如文字訊息、語音訊息、視訊訊息、富媒體訊息等，將訊息歸類為：涉政、涉黃、涉黑、涉詐、商業廣告訊息、正常訊息等等，再透過對應策略進行及時攔截，並依照不良消息的嚴重程度進行後續懲處處理，從根源淨化網路環境，營造良好的網路空間。

#2、現有5G不良資訊管控平台的技術重點

該平台主要透過以下幾種方法對不良訊息進行攔截：

#①設定一級關鍵字：一級關鍵字通常設定為一些極度敏感詞彙，若使用者傳送訊息中包含一級關鍵字內容，即立即攔截該訊息，訊息內容無法下發，並對該使用者進行標記。

②設定普通關鍵字: 普通關鍵字設定為一些較為敏感詞彙，若使用者傳送訊息中包含一般關鍵字內容，且在一定時間內，用戶發送該敏感訊息的次數超過系統預先設定的攔截閾值，則係統會將用戶拉入黑名單，在一定時間內，該用戶無法使用完整5G網路服務。

③設定複雜文字訊息監控：如使用者傳送PDF文件，其中該文件包含文字和圖片，將文件中文字提取出來，過濾一級關鍵字和普通關鍵字機制，圖片則進行富媒體機制過濾，分別根據文字和圖片的過濾結果，採用從重處置的原則，作為該文件的處置結果。

3、現有5G不良管控平台的技術弱點

現有5G不良訊息安全管控平台的過濾機制僅能過濾指定且有限的短語、短句，而隨著網路普及，新鮮詞彙每天都會大量湧現，僅靠人工手動添加詞彙，已經無法做到及時、快速的更新詞彙庫。而現今大量使用者在傳送文字訊息時，雖然整個文字訊息沒有違規詞彙，但表達的想法及情感卻可能帶有大量不良情感傾向，僅靠詞彙及短句無法成功攔截不良情緒內容。因此，利用文字情緒分析，將富含不良情感傾向的句子進行送審攔截，可以進一步加強不良訊息管控的效果，減少垃圾訊息對使用者的侵蝕與毒害。

透過建立包含網路流行短句及新聞消息的文本情緒庫，將文本中富含的情感分為三類：正向情緒、中性情緒、負向情感，並依照這三種分類為每一個文字加上對應標籤，利用深度學習網路對情緒庫中文字進行訓練，便可將訓練好的模型用在5G不良訊息管控平台中對不良情緒訊息進行攔截。

4、基於深度學習的5G不良管控系統技術實作細節

該技術中包含三大主體：jieba分詞系統、詞組向量化，文本情緒辨識演算法，各個主體之間的交互如下圖：

各模組互動流程圖

#

透過爬蟲技術爬取網路字詞及新聞訊息作為原始文本，並將原始文本依照8：2的比例分為訓練集和測試集，對訓練集中的文本資訊進行標籤化，然後將測試集中文本資訊透過jieba分詞工具進行分詞處理，例如：他來到移動杭研大廈。通過jieba分詞工具分詞後，結果為：他/來到/移動/杭研/大廈，最後將分詞後資料組成語料庫。由於訓練集和測試集文字資訊量很大（通常在百萬級資料），所以會導致分詞後語料庫中的資料量也十分龐大（千萬級資料量）。雖然可以將這些語料以編號的形式儲存在語料庫中，但由於資料量龐大，極易出現維度災難。因此，針對文字訊息中出現的語氣助詞，例如：「了」、「的」、「嗎」等等，這些詞雖然出現十分頻繁，但對情緒作用幾乎沒有貢獻，我們會選擇在語料庫中剔除這些詞組，達到減少維度的目的。

我們將訓練集中已經向量化的詞組送入深度學習網路中進行學習訓練，取得對應模型，最後將測試集中的資料放入模型中查看對應的識別結果，當模型能夠獲得較好的正確率時，模型連接到5G不良管控平台，用戶發送端對端的資訊進行過濾。在過濾過程中，若發現不良訊息及時進行攔截，使5G不良訊息管控系統對於不良訊息的攔截更加系統化、全面。

具體步驟如下：

1. #從網路上爬取原始文字語料，並將原始文字進行預處理，包括：移除語氣詞，刪除文字中出現的標點符號、空白區域，刪除文字中出現的終止詞、稀疏字詞和特定字詞；使用jieba庫進行分詞，將文本句子按照詞組精確地切開，分成一個一個單獨的詞組；
2. 將爬取到的文本資料集按照一定比例劃分成訓練集和測試集，對訓練集中文字句子進行人工標註，分為：正向情感、負向情緒、中性情緒。並分別使用jieba庫對訓練集和測試集內文本句子進行分詞，將分詞後的訓練集建構成語料庫；
3. 將步驟1中詞組進行向量化，讓每個分詞映射為一個多維的連續值向量，得到整個資料集的詞向量矩陣。
4. 透過先抽取情感詞所在的子句，減少句子的複雜度，再在子句中根據各種特徵預測情感對象的位置，然後再從對應位置進行情感抽取。情感抽取是為了獲取文本中有價值的情感訊息，判斷一個單字或片語在情感表達中扮演的角色，包括情感表達者辨識、評估對象辨識、情感觀點詞辨識等任務。
5. 透過將上述操作獲得的情感向量送入到深度學習網絡獲得文本情感識別模型，再將測試集中情感向量送入該模型中，查看測試結果，並將檢測結果正常的數據繼續進行常規策略過濾，如：文字匹配、富媒體識別等。

5、融入深度學習的5G攔截系統的優點

與現有5G攔截系統相比，融入深度學習的5G攔截系統具有以下優點：

• 利用深度學習科技提供高可靠性、高真實性的有效鑑別；
• 利用深度學習技術進行情感識別，人工介入少，工作效率高；
• 利用文本情感識別，可有效補充關鍵詞攔截的不足；
• 利用文字情緒識別，可將在策略中及時自動更新補充新的詞條訊息，提高效率。

寫在最後：

目前，深度學習應用領域十分廣闊，依靠其重複訓練、自我學習的方式，可以大幅降低人工的工作量，提升效率及準確度。不僅適用於上述不良訊息攔截系統，相信在不久的將來，該技術在其他新興領域也會大放異彩。當然，深度學習本身也不盡完美，並不能解決所有棘手問題。正因如此，我們應該繼續將深度學習技術投入新場景、新領域以期獲得新突破，共創美好的未來智慧生活。

#

以上是基於深度學習的文本情緒辨識技術在5G不良訊息安全管控平台的應用的詳細內容。更多資訊請關注PHP中文網其他相關文章！