wordlist和index文件的区别

maggieq58

语料人生
功能上我知道是有不同的,可以实现不同的目的。但就“内容”来看,对同一批文本做的wordlist和index似乎没有不同,是不是?肯请大家指点。
 
Last edited:
回复: wordlist和index文件的区别

A wordlist is simply is a frequency list. Much more infromation is stored in an index.

An Index in wordsmith records the positions of all the words in your corpus so that it can be used to compute mutual information scores and word clusters.
 
回复: wordlist和index文件的区别

感谢xiaoz老师的回答,我的意思是,单就从wordlist词表的表面来看,我看和index生成的表好像是一样的(比如词频的高低排列),我知道index可以实现以上的功能比如计算mi和cluster。

频数都是高低排列的,也都是一样的顺序。当然如您所说,index对所有的词都做了定位。
 
Back
顶部