回复内容:
"结巴"中文分词:做最好的Python中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.
https://github.com/fxsjy/jieba
pynlpir,对ictclas的封装,最近做毕设正在用,速度和准确率都很好~
闲来无事,写了两个分词程序,一个是基于mmseg的另一个是基于CRF的,目前已经上传pypi.
pip install scseg
pip install genius
其实我没有用过python或其他任何语言的分词库,不过恰好在OSChina上看到了几个python的中文分词库,有几个也是前面一些知友提到的,我把链接转过来吧:
-
http://www.oschina.net/project/tag/264/segment?sort=view&lang=25&os=0
python调用c库,可以使用中科院的分词,感觉还行,就是导入用户自定义的词库存在失败率,然后还无法调试出原因
今天刚给四款python中文分词的做了简单测试
http://hi.baidu.com/fooying/item/6ae7a0e26087e8d7eb34c9e8
smallseg ;
轻量级,容易使用。
jieba 路过。。。
中科院和哈工大的两个分词包就挺好
网上有人做了总结,发来给大家参考
几种开源分词工具的比较
有个 mmseg for python 分词
我没用过python语言写的分词程序。
分词这种功能属于计算密集型功能,需要大量计算,python不适合这种场合,可以考虑python调用c库。
Stellungnahme:Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn