想求教一下,谁对分词工具比较了解的?

greatlion

初级会员
我最近在找一些分词工具,比如把一个txt文件自动切分为8份,百度到了一些软件,但是我比较担心,切完以后,会不会出现句子碎片?还请达人指教!还有,这种工具是不是不能完全取代人工?
 

oscar3

高级会员
回复: 想求教一下,谁对分词工具比较了解的?

我最近在找一些分词工具,比如把一个txt文件自动切分为8份,百度到了一些软件,但是我比较担心,切完以后,会不会出现句子碎片?还请达人指教!还有,这种工具是不是不能完全取代人工?

目前,分词技术应该比较成熟了,太多的担心没有必要。当然,这并不是分词准确率已经达到100%。如果要求高,不容许有任何差错,而且时间允许,那么分词加工完毕,进行人工校对就可以消除你的担心了。而如果要求不是特别高(一定程度的误差应该是允许的),分词加工之后不进行人工校对也是可以的。不太理解你说的句子“碎片”是什么意思。
 

hancunxin

Moderator
回复: 想求教一下,谁对分词工具比较了解的?

我最近在找一些分词工具,比如把一个txt文件自动切分为8份,百度到了一些软件,但是我比较担心,切完以后,会不会出现句子碎片?还请达人指教!还有,这种工具是不是不能完全取代人工?

你说的不是分词软件,而应该是分文软件。WORDSMITH的splitter可以尝试一下!
 
顶部