Python中文分词等组件--免费开源

W

wxsong

"结巴"（"Jieba"）中文分词库有python2.x,python3.x安装版本，可进行中文分词（自定义分隔号）、词性标注、自定义词典、关键词提取等。

介绍及下载：
http://www.2cto.com/kf/201308/239226.html
https://github.com/fxsjy/jieba/tree/jieba3k

在线演示：
http://jiebademo.ap01.aws.af.cm/

Feature
支持三种分词模式：

精确模式，试图将句子最精确地切开，适合文本分析；
全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。
支持繁体分词

分词速度
1.5 MB / Second in Full Mode
400 KB / Second in Default Mode
Test Env: Intel(R) Core(TM) i7-2600 CPU @ 3.4GHz；《围城》.txt
 
回复: Python中文分词等组件--免费开源

正如说明所述：全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；精确模式，试图将句子最精确地切开，适合文本分析。

如：我来到北京清华大学

【全模式】: 我/ 来到/ 北京/ 清华/ 清华大学/ 华大/ 大学

【精确模式】: 我/ 来到/ 北京/ 清华大学

模式的选择参见代码实例：
https://github.com/fxsjy/jieba

#encoding=utf-8
import jieba

seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print "Full Mode:", "/ ".join(seg_list) # 全模式

seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print "Default Mode:", "/ ".join(seg_list) # 精确模式

seg_list = jieba.cut("他来到了网易杭研大厦") # 默认是精确模式
print ", ".join(seg_list)

seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") # 搜索引擎模式
print ", ".join(seg_list)
 
You must log in or register to reply here.
Back
顶部