紧急求救 tokens used for wordlist

[后来者]

我的语料库total running words 是 173,542，
tokens used for wordlist 是 173383
请问这两个数字有什么不同？谢谢指点。

 

[李亮1975重庆]

回复: 紧急求救 tokens used for wordlist

量变少了，就是标准更严了，类似AK47或2000s或1999之类的东西可能被排除在外了。毕竟，纯数字串要不要当作一个词，不同的人有不同的需求。