5G 나쁜 소식 보안 관리 및 관제 플랫폼에 딥러닝 기반 문자 감정인식 기술 적용

작성자 │ Sun Yue, 단위: China Mobile (Hangzhou) Information Technology Co., Ltd. | China Mobile Hangzhou R&D 센터

연구소 소개

5G 네트워크가 계속 대중화되면서 많은 사용자가 시작되었습니다. 5G 네트워크에 접속하고 사용합니다. 5G 네트워크는 기존 네트워크의 음성, 영상, 문자 및 기타 정보를 전송할 수 있을 뿐만 아니라 실시간 전장 정보, 위성 위치 확인, 내비게이션 등 지연 시간이 짧고 고정밀 위치 확인 기능을 갖춘 보다 실용적인 애플리케이션 시나리오에서도 사용할 수 있습니다. 등.

인터넷 정보에는 정치 관련 정보, 음란물 정보, 흑인 관련 정보, 사기 관련 정보, 상업 광고 정보 등 나쁜 정보가 섞여 있는 경우가 많고, 그 양이 어마어마합니다. 나쁜 정보가 해마다 늘어나고 있으며, 이로 인해 사용자는 엄청난 괴롭힘을 당하고 있습니다. 네트워크 환경을 정화하고 악성 정보의 확산을 효과적으로 통제하기 위해 China Mobile의 5G 악성 뉴스 보안 관리 및 제어 플랫폼이 탄생했습니다.

다 소스 : 중국 모바일 그룹 정보 보안 센터 5G 잘못된 정보 관리 및 제어 플랫폼의 응용 프로그램 시나리오. 문자메시지, 음성정보, 영상정보, 리치미디어정보 등의 정보환경에서는 해당 정보를 정치 관련, 음란 관련, 폭력 관련, 사기 관련, 상업 광고 메시지, 일반 정보로 분류합니다. 메시지 등을 전달하고, 이에 상응하는 전략을 통해 나쁜 소식의 심각도에 따라 적시에 차단 및 후속처벌을 실시하고, 근본 원인부터 네트워크 환경을 정화하여 좋은 사이버 공간을 조성합니다.

2. 기존 5G 불량정보 관리·통제 플랫폼의 기술적 포인트

플랫폼에서는 주로 다음과 같은 방법을 통해 불량정보를 차단합니다.

11차 키워드 설정

: 1차 키워드는 일반적으로 매우 민감한 단어로 설정됩니다. 사용자가 1차 키워드 내용이 포함된 메시지를 보내면 메시지가 즉시 차단되어 메시지 내용이 유포될 수 없습니다. , 그리고 이 사용자를 태그하세요.

②공통 키워드 설정

: 공통 키워드는 상대적으로 민감한 단어로 설정되며, 사용자가 공통 키워드 내용을 포함하는 메시지를 보낼 경우 일정 기간 동안 민감한 메시지를 보내는 횟수가 초과됩니다. 시스템이 미리 지정한 수 차단 임계값이 설정되면 시스템은 사용자를 블랙리스트에 등록하게 되며 일정 시간 내에 사용자는 완전한 5G 네트워크 서비스를 사용할 수 없게 됩니다.

3복잡한 텍스트 정보 모니터링 설정

: 사용자가 텍스트와 그림이 포함된 PDF 파일을 전송하면 파일 내 텍스트가 추출되고 1단계 키워드와 공통 키워드가 필터링되며, 리치 미디어 메커니즘 필터링은 텍스트와 이미지의 필터링 결과를 기반으로 파일 처리 결과를 대량 처리하는 원칙을 채택합니다.

3.기존 5G 나쁜 소식 관제 플랫폼의 기술적 약점

기존 5G 나쁜 소식 보안 관제 플랫폼의 필터링 메커니즘은 지정되고 제한된 문구와 짧은 문장만 필터링할 수 있습니다. 인터넷의 대중화로 인해 매일 새로운 어휘가 대량으로 등장하고 있으며, 수동으로 어휘를 추가하는 것만으로는 더 이상 적시에 신속하게 어휘 라이브러리를 업데이트할 수 없습니다. 더욱이 오늘날 많은 수의 사용자가 문자 메시지를 보낼 때 문자 메시지 전체에 불법적인 단어가 포함되어 있지 않더라도 표현된 생각과 감정에는 부정적인 감정 경향이 많이 포함될 수 있으며 짧은 문장만으로는 부정적인 감정 내용을 성공적으로 차단할 수 없습니다. . 따라서 텍스트 감정 분석을 활용하여 부정적인 감정 성향이 풍부한 문장을 검토 및 차단할 수 있도록 제출하면 불량 정보 통제 효과를 더욱 강화하고 스팸 정보로 인한 사용자 침식 및 중독을 줄일 수 있습니다.

인터넷에서 인기 있는 짧은 문장과 뉴스 메시지를 담은 텍스트 감정 라이브러리를 구축하여 텍스트에 풍부한 감정을 긍정적인 감정, 중립적인 감정, 부정적인 감정의 세 가지 범주로 나누고 각각을 이에 따라 분류합니다. 세 가지 카테고리에 해당하는 라벨을 추가하고 딥러닝 네트워크를 사용해 감정 라이브러리에서 텍스트를 훈련합니다. 훈련된 모델은 5G 나쁜 소식 관리 및 제어 플랫폼에서 나쁜 감정 메시지를 차단하는 데 사용될 수 있습니다.

4. 딥러닝 기반 5G 불량 관리 및 제어 시스템 기술 구현 내용

이 기술에는 지에바 단어 분할 시스템, 구문 벡터화, 텍스트 감정 인식 알고리즘, 각 과목 간의 상호 작용은 다음과 같습니다.

각 모듈의 상호 작용 흐름도

크롤러 기술을 사용하여 인터넷 단어 및 뉴스 메시지를 원본 텍스트로 크롤링하고 원본 텍스트를 8:2 비율로 훈련 세트와 테스트 세트로 나누고 훈련 세트의 텍스트 정보에 레이블을 지정한 다음 텍스트를 전달합니다. jieba 단어 분할 도구를 통해 테스트 세트에 포함된 정보는 단어 분할 처리를 수행합니다. 예: He came to Mobile Hangyan Building. jieba 단어 분할 도구를 통해 단어 분할 후 결과는 그/왔다/이동/한얀/건물이며, 최종적으로 단어 분할 후 데이터는 말뭉치로 구성됩니다. 훈련 세트와 테스트 세트의 텍스트 정보 양이 매우 크기 때문에(보통 수백만 개의 데이터), 단어 후 분할 코퍼스의 데이터 양도 매우 큽니다(수천만 개의 데이터). 이러한 코퍼스는 코퍼스에 번호가 매겨진 형태로 저장될 수 있지만, 엄청난 양의 데이터로 인해 차원성의 재앙을 겪기 쉽습니다. 따라서 "le", "的", "我" 등과 같이 텍스트 정보에 나타나는 조동사에 대해 이러한 단어는 매우 자주 나타나지만 감정 효과에 거의 기여하지 않으므로 선택하겠습니다. 차원 축소 목적을 달성하기 위해 코퍼스 구문에서 이러한 단어를 제거합니다.

학습 세트의 벡터화된 문구를 학습 및 훈련을 위해 딥러닝 네트워크로 보내고, 마지막으로 테스트 세트의 데이터를 모델에 넣어 해당 인식 결과를 봅니다. 모델은 더 나은 결과를 얻을 수 있습니다. 정확도가 좋으면 모델이 5G 불량 관리 및 제어 플랫폼에 연결되고 사용자는 필터링을 위해 엔드투엔드 정보를 보냅니다. 필터링 과정에서 불량 정보가 발견되면 적시에 차단하여 5G 불량 정보 관리 및 제어 시스템의 불량 정보 차단이 더욱 체계적이고 포괄적으로 이루어집니다.

구체적인 단계는 다음과 같습니다.

1. 모달 입자 제거, 텍스트에 나타나는 문장 부호 삭제 등을 포함하여 원본 텍스트를 전처리합니다. 텍스트, 빈 영역에서 텍스트에 나타나는 종결어미, 희박한 단어 및 특정 단어를 삭제하고 단어 분할을 위해 jieba 라이브러리를 사용하여 문구에 따라 텍스트 문장을 정확하게 자르고 별도의 문구로 나눕니다. 특정 비율에 따라 훈련 세트와 테스트 세트로 나뉘며, 훈련 세트의 텍스트 문장에는 수동으로 긍정적인 감정, 부정적인 감정, 중립적인 감정으로 주석이 추가됩니다. 그리고 jieba 라이브러리를 사용하여 훈련 세트와 테스트 세트의 텍스트 문장을 각각 분할하고 분할된 훈련 세트를 코퍼스로 구성합니다.
2. 각 분할이 다차원 연속 값에 매핑되도록 1단계의 구문을 벡터화합니다. 벡터, 전체 데이터 세트의 단어 벡터 행렬을 가져옵니다.
3. 감정 단어가 위치한 절을 먼저 추출하여 문장의 복잡도를 줄이고, 다양한 특징을 바탕으로 절 내 감정 대상의 위치를 ​​예측한 후 해당 위치에서 감정을 추출합니다. 감정 추출은 텍스트 내 귀중한 감정 정보를 얻고, 감정 표현자 식별, 평가 대상 식별, 감정 관점 단어 식별 등의 작업을 포함하여 감정 표현에서 단어나 문구가 하는 역할을 파악하는 것입니다.
4. 위의 연산으로 얻은 감정 벡터를 딥러닝 네트워크로 보내 텍스트 감정 인식 모델을 얻은 후, 테스트 세트의 감정 벡터를 모델로 보내고, 테스트 결과를 보고, 계속해서 정규식으로 데이터를 필터링합니다. 텍스트 일치, 리치 미디어 인식 등과 같은 기존 전략을 사용한 탐지 결과.

5. 딥러닝과 통합된 5G 차단 시스템의 장점

기존 5G 차단 시스템과 비교하여 딥러닝과 통합된 5G 차단 시스템은 다음과 같은 장점이 있습니다.

딥 러닝 기술을 사용하여 높은 신뢰성과 신뢰성을 제공합니다.

수동 개입이 적고 작업 효율성이 높은 딥 러닝 기술을 사용합니다.

• 텍스트 감정 인식을 사용하여 키워드 차단 단점을 효과적으로 보완합니다. 텍스트 감정 인식을 활용하면 적시에 새로운 입력 정보를 자동으로 업데이트하고 보완하여 효율성을 높일 수 있습니다.
• 마지막에 작성:

현재 딥 러닝의 적용 분야는 반복 학습과 자가 학습 방법을 기반으로 하여 수동 작업량을 크게 줄이고 효율성과 정확성을 향상시킬 수 있습니다. 위에서 언급한 불량 정보 차단 시스템에 적합할 뿐만 아니라 가까운 미래에 이 기술이 다른 신흥 분야에서도 빛을 발할 것이라고 믿습니다. 물론 딥러닝 자체가 완벽하지도 않고 난제를 모두 해결할 수는 없습니다. 그렇기 때문에 우리는 새로운 돌파구를 마련하고 더 나은 미래 스마트 라이프를 창조하기 위해 새로운 시나리오와 새로운 분야에 딥러닝 기술에 지속적으로 투자해야 합니다.

위 내용은 5G 나쁜 소식 보안 관리 및 관제 플랫폼에 딥러닝 기반 문자 감정인식 기술 적용의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!