《语料库应用教程》中提供了自动分词程序tokenize，但是根据提示操作不成功。双击配置文件filelist.ini之后在新出现的界面输入所要分词文件的路径，如：H:\1.txt.之后双击tokenize.exe，但是程序总是闪出，不能运行。再次双击filelist.ini，显示的是之前程序内附的不可用的文件地址。求高人指点，问题出在哪儿？？？
菜鸟求助：如何使用tokenize分词程序
- 主题发起人 wangzhen1235609
- 时间
回复: 菜鸟求助：如何使用tokenize分词程序
这个问题很多人问过。这里简单回应一下，tokenize对英文来说不是非做不可。主要是将can't这样的一些缩略词等，tokenize成can 't。而很多词性赋码工具运行时，也包含这一功能。因此，对一般用户来说，tokenize跳过不做也可。
出现大家tokenizer不能的原因，可能主要跟Win7系统有关。
原先开发时，主要以XP为主，后来Win7慢慢普及，而且还有32位和64位两种。加上很多软件运行必须要管理员权限，所以Win7给不少软件的运行带来了麻烦。
当大家还在适应Win7的时候，Win8已经开始扑面而来。
都是商家的噱头，用户都是被升级。
Filelister跟这个没什么关系。那是增加右键生成文件列表的一个一个注册表项。与操作系统无关。不知道你那为什么出问题。
这个问题很多人问过。这里简单回应一下，tokenize对英文来说不是非做不可。主要是将can't这样的一些缩略词等，tokenize成can 't。而很多词性赋码工具运行时，也包含这一功能。因此，对一般用户来说，tokenize跳过不做也可。
出现大家tokenizer不能的原因，可能主要跟Win7系统有关。
原先开发时，主要以XP为主，后来Win7慢慢普及，而且还有32位和64位两种。加上很多软件运行必须要管理员权限，所以Win7给不少软件的运行带来了麻烦。
当大家还在适应Win7的时候，Win8已经开始扑面而来。
都是商家的噱头，用户都是被升级。
Filelister跟这个没什么关系。那是增加右键生成文件列表的一个一个注册表项。与操作系统无关。不知道你那为什么出问题。
回复: 菜鸟求助：如何使用tokenize分词程序
明白了，既然不是非做不可我就跳过吧，谢谢你的建议跟帮助
明白了，既然不是非做不可我就跳过吧，谢谢你的建议跟帮助