博客列表 >用“人工智能+大数据”让信息过滤更“智慧”

用“人工智能+大数据”让信息过滤更“智慧”

ljrj123
ljrj123原创
2017年08月21日 15:45:22894浏览

  用“人工智能+大数据”让信息过滤更“智慧”,近日一款由灵玖中科软件有限公司研发的九眼智能过滤系统(LJKeyScanner),为人工智能与大数据文本信息过滤结合提供了新的方向。

  大数据是笼统的概念,文本大数据是其中的一个分支。对于文本大数据的处理,第一个环节就是要迅速获取这些数据,它们或来自企业、机构内部,或来源于互联网;第二个环节进行数据挖掘,在这些非结构化的数据中,通过各种分析技术,寻找并整合成有价值的分析结果。

  而九眼智能过滤系统是面向复杂文本大数据的内容智能过滤系统,可实时智能识别关键词音变、形变与拆字等常见变体,并实现了语义的精准排歧,系统内置了国内最新最全的知识库,适用于多场景不文明信息内容的智能过滤发现。

  九眼智能过滤三大技术核心:智能变种、语义排歧、快速实时

  1、智能变种识别

  九眼智能过滤利用美双数组TRIE树词典管理与检索方法,系统自动识别形变词、音变词、拆字、噪音、繁简体、全角半角、中间加各类干扰噪音等变体; 同时,系统支持自定义词库,增量添加百万量级词库。

  2、语义排歧

  九眼智能过滤利用NLPIR语义精准分词系统与情感分析系统,精准识别与过滤,排除正面无害的信息,极大降低了误判率。

  3、快速实时

  九眼智能过滤使用专利算法,快速扫描,单机速度30MB/s;支持单机多线程、多机并行、Hadoop云服务模式,对PB级信息内容实现并行高效在线核查。

  在文本信息的传播过程中,不论是采编、发布还是受众反馈,文本大数据都在对这些环节产生颠覆性的重塑。在文本大数据技术的作用下,资源、平台和影响力在全网都是能够公平共享的,媒介传播能从形态、内容、技术、用户、渠道上做到相辅相成,形成一个信息传播的良性产业生态。


上一条:1111111下一条:wamp环境配置记录
声明:本文内容转载自脚本之家,由网友自发贡献,版权归原作者所有,如您发现涉嫌抄袭侵权,请联系admin@php.cn 核实处理。
全部评论
文明上网理性发言,请遵守新闻评论服务协议