随着信息技术的不断发展,人们已经进入信息极大丰富的时代,一方面信息来源广泛,包括 Web 文档图书文献数字化资料等,这些异构的信息分布在Internet 空间中;另一方面,信息量巨大。面对信息的海洋,人们觉得力不从心,往往花费了很多时间却所获甚少。在这种情况下,如何有效地提供基于 Internet 的资源发现服务,以帮助用户从大量信息资源的集合中找到与给定的查询请求相关的、恰当数目的资源子集,也就成为一项重要而迫切的难题。
数据挖掘技术本身就是当前数据技术发展的新领域,文本挖掘则发展历史更短.传统的信息检索技术对于海量数据的处理并不尽如人意,文本挖掘便日益重要起来,可见文本挖掘技术是从信息抽取以及相关技术领域中慢慢演化而成的。
文本挖掘是为了发现知识,从大规模文本数据中抽取隐含的、以前未知的、潜在有用的模式的过程。文本挖掘可以看作是数据挖掘技术与文本处理技术的结合,是数据挖掘从处理结构化数据到处理无结构数据的一次飞跃,已成为当前知识发现领域的主流方向之一。
文本挖掘不但要处理大量的结构化和非结构化的文档数据, 而且还要处理其中复杂的语义关系, 因此, 现有的数据挖掘技术无法直接应用于其上。对于非结构化问题, 一条途径是发展全新的数据挖掘算法直接对非结构化数据进行挖掘, 由于数据非常复杂, 导致这种算法的复杂性很高; 另一条途径就是将非结构化问题结构化, 利用现有的数据挖掘技术进行挖掘, 目前的文本挖掘一般采用该途径进行。对于语义关系, 则需要集成计算语言学和自然语言处理等成果进行分析。
灵玖软件NLPIR大数据语义智能分析平台针对中文数据挖掘的综合需求,融合了网络精准采集、自然语言理解、文本挖掘和语义搜索的研究成果,先后历时十八年,服务了全球四十万家机构用户,是大时代语义智能分析的一大利器。
NLPIR大数据语义智能分析平台平台针对互联网内容处理的全技术链条的共享开发平台。15年专业研究与工程积累,提供应用软件及各平台下的二次开发包。提供了用于技术二次开发的基础工具集。开发平台由多个中间件组成,各个中间件API可以无缝地融合到***的各类复杂应用系统之中。
NLPIR能够全方位多角度满足应用者对大数据文本的处理需求,包括大数据完整的技术链条:网络采集、正文提取、中英文分词、词性标注、实体抽取、词频统计、关键词提取、语义信息抽取、文本分类、情感分析、语义深度扩展、繁简编码转换、自动注音、文本聚类等。
中文数据挖掘技术应时代的要求应运而生,在很大程度上满足了人们对自然语言处理的需要,解决了人和计算机交流中的一些障碍;但中文数据挖掘技术也存在很多困难,NLPIR大数据语义智能技术将对中文数据挖掘技术进行深入研究,必将提供出高质量、多功能的中文数据挖掘算法并促进自然语言理解系统的广泛应用。