用AntConc处理中文concordance, wordlist, N-gram
- 主题发起人 xujiajin
- 时间
对不起各位，早上贴完帖子就搬家去了，累到现在才回家打开电脑。这里是大家关心的我是如何用AntConc处理中文的：
1、文本格式：
大家有没有注意到上面贴的我试验AntConc的文本中既有中文简体、繁体也有英文？ 为了能在同一个文本中显示好中文简体、繁体和英文，我把所有文本都转存成UTF-8了。也就是说，我用 AntConc 处理的语料文本是存成UTF-8格式的，不是GB或Big5。另外，中文文本是经过分词处理的。请搜索本站找相关的自动分词和词性标注工具：SegTag、ICTCLAS、NEUCSP、Hylanda、WinAT等。
2、设置 AntConc：
在 Global Settings 下的 Language Encodings， 我没有选 Chinese Encodings下的选项， 而是选择了 Unicode Encodings 下的 Unicode(UTF-8)。其它设置可以用默认的。
3、功能：
这样设置后AntConc的功能就全部可以处理中文文本了，也就是说大家这样就可以用AntConc来处理分词后的中文的Concordance， Wordlist， Cluster， N-Gram等等了。Wordsmith 终于有了一个免费的竞争对手！
1、文本格式：
大家有没有注意到上面贴的我试验AntConc的文本中既有中文简体、繁体也有英文？ 为了能在同一个文本中显示好中文简体、繁体和英文，我把所有文本都转存成UTF-8了。也就是说，我用 AntConc 处理的语料文本是存成UTF-8格式的，不是GB或Big5。另外，中文文本是经过分词处理的。请搜索本站找相关的自动分词和词性标注工具：SegTag、ICTCLAS、NEUCSP、Hylanda、WinAT等。
2、设置 AntConc：
在 Global Settings 下的 Language Encodings， 我没有选 Chinese Encodings下的选项， 而是选择了 Unicode Encodings 下的 Unicode(UTF-8)。其它设置可以用默认的。
3、功能：
这样设置后AntConc的功能就全部可以处理中文文本了，也就是说大家这样就可以用AntConc来处理分词后的中文的Concordance， Wordlist， Cluster， N-Gram等等了。Wordsmith 终于有了一个免费的竞争对手！
回复：用AntConc处理中文concordance, wordlist, N-gram
Basically, my test showed that this tiny program works very well with Chinese texts, though it is a pity that the concordances of KWIC are not nicely presented. Can you also ask him to add an option in saving the concordance result? Something similar as Wconcord's "Save with delimiters":
With the delimiters saved, the concordance result looks as follow:
Then we can make use of regular expression to replace all "|" with a Tab, and replace "[" with a Tab and "[". The result then can be opened with Excel in three columns. Resort in Excle is of course quite easy.
Basically, my test showed that this tiny program works very well with Chinese texts, though it is a pity that the concordances of KWIC are not nicely presented. Can you also ask him to add an option in saving the concordance result? Something similar as Wconcord's "Save with delimiters":
With the delimiters saved, the concordance result looks as follow:
Then we can make use of regular expression to replace all "|" with a Tab, and replace "[" with a Tab and "[". The result then can be opened with Excel in three columns. Resort in Excle is of course quite easy.
