关于英语分词（Word segmentation），请求大家帮助。

2

25718604

难道英语分词不重要？想知道英语中的一句话，如何判断带空格的多个词为一个词。
基于字典的不全，想找基于统计的方法，但是没发现。
只发现口语分词的文献。
寻求大家帮助，看看研究英语分词有没什么有什么意义，值不值得研究。
如有文献，望大家给推荐下。
wuyong5025554@gmail.com
 
回复: 关于英语分词（Word segmentation），请求大家帮助。

你的问题无解. 你先把英语"词"的概念和"segmentation"的概念搞清楚.
 
回复: 关于英语分词（Word segmentation），请求大家帮助。

英语虽不像汉语这样存在系统性分词问题，它的tokenisation也是有很多问题的。
可以看一下Word A Cross-linguistic Typology R. M. W. Dixon, Alexandra Y. Aikhenvald一书的第一章第3节。

http://books.google.com/里有这本书。
 
回复: 关于英语分词（Word segmentation），请求大家帮助。

“带空格的多个词为一个词“ 估计1楼的意思是指像key word、secretary general和United Kingdom这样的“词”吧 个人认为这需要一个词表 或者要用到句法标注parsing
 
You must log in or register to reply here.
Back
顶部