superyangt 2009-04-11 #2 回复: 各位高人紧急求助! 1、“字”是汉语中才有的概念。我们常说常用汉字6763个,就是指的“字”。 2、“word”是英语中才有的概念。GLM统计至今英语词汇量突破了100万,就是指的“word”。 3、“字符”是信息处理中的一个概念。它是与数值相对而言的。 一般而言,英语语料库的大小都以word数目(token)来计算。
回复: 各位高人紧急求助! 1、“字”是汉语中才有的概念。我们常说常用汉字6763个,就是指的“字”。 2、“word”是英语中才有的概念。GLM统计至今英语词汇量突破了100万,就是指的“word”。 3、“字符”是信息处理中的一个概念。它是与数值相对而言的。 一般而言,英语语料库的大小都以word数目(token)来计算。