深層学習に基づくテキスト感情認識技術の5Gバッドニュースセキュリティ管理および制御プラットフォームへの応用

著者 | Sun Yue、部署: China Mobile (Hangzhou) Information Technology Co., Ltd. | China Mobile Hangzhou R&D Center

ラボ紹介

5G ネットワークの発展 普及が進むにつれて、多くのユーザーが 5G ネットワークに接触し、使用し始めています。 5G ネットワークは、従来のネットワークの音声、ビデオ、テキスト、その他の情報を送信できるだけでなく、戦場のライブ情報、衛星測位、ナビゲーション、等

# インターネット情報には、政治関連の情報、ポルノ情報、暴力団関連情報、詐欺情報、商業広告情報等、悪質な情報は年々増加しており、利用者に多大な嫌がらせを与えています。ネットワーク環境を浄化し、悪い情報の拡散を効果的に制御するために、チャイナモバイルの 5G 悪いニュースセキュリティ管理および制御プラットフォームが誕生しました。

#データ ソース: 中国移動グループ情報セキュリティ センター

##1. 5G 不良情報管理・制御プラットフォームの適用シナリオ

##複雑なネットワーク情報環境に直面した場合、このプラットフォームはテキスト メッセージ、音声メッセージ、ビデオ メッセージ、リッチ メディア メッセージなどを、政治関連、ポルノ、ギャング関連、詐欺関連、商業広告メッセージ、通常のメッセージなどに分類して傍受します。対応する戦略を通じてタイムリーに報復し、悪いニュースの重大度に応じてフォローアップの懲罰を実行し、ネットワーク環境を根本から浄化し、良好なネットワーク空間を作成します。

#2. 既存の 5G 不良情報管理および制御プラットフォーム技術重要なポイント

##プラットフォームは主に次の方法で悪質な情報を傍受します。

#①第 1 レベルのキーワードを設定する: 第 1 レベルのキーワードは通常、非常に機密性の高い単語に設定されます。ユーザーが第 1 レベルのキーワードの内容を含むメッセージを送信すると、メッセージはすぐに傍受されます。情報コンテンツは配信できず、ユーザーはマークされます。

② 共通キーワードの設定: 共通キーワードは、ユーザーが一定期間内に共通キーワードの内容を含むメッセージを送信した場合、よりセンシティブな単語に設定されます。一定期間内に、ユーザーが機密メッセージを送信した回数がシステムの事前設定された傍受しきい値を超えた場合、システムはユーザーをブラックリストに組み込み、一定期間内にユーザーはブラックリストに登録されなくなります。完全な5Gネットワ​​ークサービスを利用できるようになります。

#複雑なテキスト情報の監視を設定する: ユーザーがテキストと画像を含む PDF ファイルを送信した場合、ファイル内のテキストを抽出してフィルタリングします。高度なキーワードと通常のキーワードメカニズム、画像はリッチメディアメカニズムによってフィルタリングされ、テキストと画像のそれぞれのフィルタリング結果に従って、ファイルの処理結果として重い処理の原則が採用されます。

#3. 既存の 5G の悪い管理および制御プラットフォームの技術的弱点

既存の 5G 悪いニュースセキュリティ制御プラットフォームのフィルタリングメカニズムでは、指定された限られたフレーズや短い文章のみをフィルタリングできます。インターネットの普及に伴い、新しい単語が毎日大量に出現します。 、手動での追加のみが必要です。語彙に関しては、語彙ライブラリをタイムリーかつ迅速に更新することができなくなりました。さらに、今日多くのユーザーがテキスト メッセージを送信する場合、テキスト メッセージ全体に違法な単語が含まれていないとしても、表現される思考や感情には多くの否定的な感情的傾向が含まれる可能性があり、単語や短い文章だけでは否定的な感情的な内容をうまく遮断することはできません。 。したがって、テキスト感情分析を使用して、否定的な感情傾向に富んだ文章をレビューおよび傍受のために送信すると、悪い情報制御の効果をさらに強化し、スパム情報によるユーザーの浸食と汚染を軽減できます。

人気のインターネット フレーズやニュース メッセージを含むテキスト感情ライブラリを確立することにより、テキストに豊富に含まれる感情が、ポジティブな感情、ニュートラルな感情、ネガティブな感情の 3 つのカテゴリに分類されます。これら 3 つのカテゴリに従って各テキストに対応するラベルを作成し、深層学習ネットワークを使用して感情ライブラリ内のテキストをトレーニングします。トレーニングされたモデルは、5G の悪いニュース管理および制御プラットフォームで使用して、悪い感情的なメッセージを傍受できます。

##4. 深層学習に基づく 5G 欠陥管理および制御システムの技術実装の詳細

このテクノロジーには、jieba 単語分割システム、フレーズ ベクトル化、およびテキスト感情認識アルゴリズムという 3 つの主要な主題が含まれており、各主題間の相互作用は次のとおりです。

各モジュールの対話フローチャート

クローラー技術を使用して、インターネット上の単語やニュースメッセージを原文としてクロールし、原文をトレーニングセットとテストセットに8:2の比率で分割し、トレーニングセット内のテキスト情報にラベルを付けて分割します。テスト セット内のテキスト。情報は jieba 単語分割ツールによって分割されます。例: 彼はモバイル ハンヤン ビルに来ました。 jieba 単語分割ツールによる単語分割後の結果は、彼/来た/移動/ハンヤン/建物となり、最終的に単語分割後のデータがコーパスに編成されました。トレーニング セットとテスト セット内のテキスト情報の量は非常に多いため (通常は数百万のデータ)、ポストワード セグメンテーション コーパス内のデータの量も非常に多くなります (数千万のデータ)。これらのコーパスは番号を付けてコーパスに保存できますが、データ量が膨大であるため、次元の災難に見舞われやすくなります。したがって、テキスト情報に出現する助詞「レ」、「的」、「我」などについては、出現頻度は高いものの、感情への寄与が少ないため、次元を削減するという目的を達成するために、コーパス フレーズからこれらの単語を削除します。

トレーニング セット内のベクトル化されたフレーズを学習とトレーニングのために深層学習ネットワークに送信し、対応するモデルを取得し、最後にテスト セット内のデータをモデルに入力して表示します。その結果、モデルがより高い精度を得ることができた場合、モデルは 5G 不良管理および制御プラットフォームに接続され、ユーザーはフィルタリングのためにエンドツーエンドの情報を送信します。フィルタリングプロセス中に悪い情報が見つかった場合、その情報は適時に傍受されるため、5Gの不正情報管理および制御システムによる悪い情報の傍受がより体系的かつ包括的になります。

#具体的な手順は次のとおりです。

## インターネットから元のテキスト コーパスをクロールし、モーダル助詞の削除、テキスト内に出現する句読点と空白領域の削除、ターミネータ、まばらな単語、テキスト内に出現する特定の単語の削除など、元のテキストを前処理します。 jieba ライブラリは単語の分割を実行し、テキスト文を個別のフレーズに正確に切り出します。
1. クロールされたテキスト データ セットを特定の割合に従ってトレーニング セットとテスト セットに分割します。テキスト文は手動で注釈が付けられ、次のように分割されます。 : ポジティブな感情、ネガティブな感情、ニュートラルな感情。そして、jieba ライブラリを使用して、トレーニング セットとテスト セットのテキスト文をそれぞれセグメント化し、セグメント化されたトレーニング セットをコーパスに構築します。
2. ステップ 1 でフレーズをベクトル化し、各セグメント化が次のようにマッピングされます。データセット全体のワードベクトル行列を取得するための多次元連続値ベクトル。
3. まず感情語が含まれる文節を抽出することで文の複雑さを軽減し、その後さまざまな特徴に基づいて文節内で感情対象の位置を予測し、感情を抽出します対応する位置から。感情抽出とは、テキスト内の貴重な感情情報を取得し、感情表現において単語やフレーズが果たす役割を判断することであり、感情表現者の特定、評価対象の特定、感情的な観点の単語の特定などのタスクが含まれます。
4. 上記の操作で取得した感情ベクトルを深層学習ネットワークに送信してテキスト感情認識モデルを取得し、次にテスト セット内の感情ベクトルをモデルに送信し、テスト結果を確認して、次の手順を続行します。正常な検出結果を持つデータ、テキスト マッチング、リッチ メディア認識などの定期的なポリシー フィルタリングを実行します。

5.ディープラーニングを取り入れた5G傍受システムのメリット

既存の 5G 傍受システムと比較して、ディープラーニングと統合された 5G 傍受システムには次の利点があります。

#ディープラーニングの使用このテクノロジーは、高い信頼性と信頼性を備えた効果的な識別を提供します。

• は感情認識に深層学習テクノロジーを使用しており、手動介入が少なく、高い作業効率を実現します。
• はテキスト感情認識を使用して重要な点を効果的に補います。単語インターセプトの割合;
• テキスト感情認識を使用すると、戦略を自動的に更新し、タイムリーに新しいエントリ情報を補足して、効率を向上させることができます。

最後に書いてください:

現在、深層学習の応用分野は、繰り返しの学習に依存して非常に広範囲に広がっています。手動の作業負荷を大幅に軽減し、効率と精度を向上させることができます。前述の悪質な情報傍受システムに適しているだけでなく、近い将来、他の新興分野でもこの技術が活躍すると信じています。もちろん、ディープラーニング自体は完璧ではなく、すべての厄介な問題を解決できるわけではありません。このため、新たなブレークスルーを達成し、より良い未来のスマートライフを生み出すために、私たちはディープラーニングテクノロジーを新たなシナリオや新たな分野に投資し続ける必要があります。

以上が深層学習に基づくテキスト感情認識技術の5Gバッドニュースセキュリティ管理および制御プラットフォームへの応用の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。