紧急求救 tokens used for wordlist

我的语料库total running words 是 173,542,
tokens used for wordlist 是 173383
请问这两个数字有什么不同?谢谢指点。
 

李亮1975重庆

语料库快乐军政委
回复: 紧急求救 tokens used for wordlist

量变少了,就是标准更严了,类似AK47或2000s或1999之类的东西可能被排除在外了。毕竟,纯数字串要不要当作一个词,不同的人有不同的需求。
 
顶部