请教计算词性标注正确率的方法。
- 主题发起人 清风出袖
- 时间
oscar3
高级会员
回复: 请教计算词性标注正确率的方法。
这个问题很有意思。如果能够自动识别错误的标注，我想系统就能独立解决这个问题，不需要人工来干预了。之所以出错，肯定是软件不知道是错的，比如词性存在歧义。
在有些文章中会看到某些词性标注软件标注后的正确率，但是对于正确率计算语焉不详，请问具体应该如何计算？取出来一部分标注后样本，而后人工检验，而后利用文本长度和样本长度进行推断么？记得很早前我曾经问过，但是帖子搜索不到了，所以另开了一帖，请方家赐教。个人感觉，某一词性标注软件的正确率会因为文本类型，体量而有所变化，是不是说每次利用某一个词性标注软件进行不同文体标注后都要进行计算。
正确率计算出来后，是否要人工矫正不对的文本？如果是体量很大的文本，人工矫正词性会很麻烦，有无能自动识别标错词性的文本部分，使得词性标注后修改的工作更加简便些的方法呢？
谢谢，请不吝赐教。
这个问题很有意思。如果能够自动识别错误的标注，我想系统就能独立解决这个问题，不需要人工来干预了。之所以出错，肯定是软件不知道是错的，比如词性存在歧义。
回复: 请教计算词性标注正确率的方法。
这个问题很有意思。现在词性标注准确率号称达到97%。但这是按词来算的，如果按句子来算，准确率会大大降低。
有一篇文章讨论了这个问题 http://nlp.stanford.edu/pubs/CICLing2011-manning-tagging.pdf
提供一个思路，是否可以用不同的Tagger（如Stanford Tagger, OpenNLp Tagger, TreeTagger, CLAWS）一起标语料，然后找到其中不一样的标注，可能会是错误呢？
这个问题很有意思。现在词性标注准确率号称达到97%。但这是按词来算的，如果按句子来算，准确率会大大降低。
有一篇文章讨论了这个问题 http://nlp.stanford.edu/pubs/CICLing2011-manning-tagging.pdf
提供一个思路，是否可以用不同的Tagger（如Stanford Tagger, OpenNLp Tagger, TreeTagger, CLAWS）一起标语料，然后找到其中不一样的标注，可能会是错误呢？
回复: 请教计算词性标注正确率的方法。
每一种标注器的标注集都不完一样，怎么对比，首先你得确定不同标注集之间的是否完全对应，对于一些交叉、包含现象怎么归类？
这些召回率或准确率的计算应该受训练数据集和测试数据集代表性的影响比较大。
每一种标注器的标注集都不完一样，怎么对比，首先你得确定不同标注集之间的是否完全对应，对于一些交叉、包含现象怎么归类？
这些召回率或准确率的计算应该受训练数据集和测试数据集代表性的影响比较大。
清风出袖
高级会员
回复: 请教计算词性标注正确率的方法。
也就是说某个词性标注准确率在不同类型文本（长度，文体差异等因素）会有差别，也就是说准确率也是浮动的变化的而非整齐划一的？对否？谢谢。
也就是说某个词性标注准确率在不同类型文本（长度，文体差异等因素）会有差别，也就是说准确率也是浮动的变化的而非整齐划一的？对否？谢谢。
回复: 请教计算词性标注正确率的方法。
我的意思：
1. 采用不同标注器的标注集大小、内容不尽相同，比较起来有难度。
2. 你的理解没错， 标注器训练语料越大、越均衡，得出的标注准确率才更具有代表性。但即便如此，应用到不同语料标注，依然会有出入，有时还很大。
你现在怎么研究这个了？
我的意思：
1. 采用不同标注器的标注集大小、内容不尽相同，比较起来有难度。
2. 你的理解没错， 标注器训练语料越大、越均衡，得出的标注准确率才更具有代表性。但即便如此，应用到不同语料标注，依然会有出入，有时还很大。
你现在怎么研究这个了？
清风出袖
高级会员
回复: 请教计算词性标注正确率的方法。
就是想知道----傻根儿语天下无贼
但是比较大的电子文本处理后怎么计算基于某一tagger 的准确率呢？取样本标注后人工检查而后计算？具体步骤呢？谢谢，hittle。
我的意思：
1. 采用不同标注器的标注集大小、内容不尽相同，比较起来有难度。
2. 你的理解没错， 标注器训练语料越大、越均衡，得出的标注准确率才更具有代表性。但即便如此，应用到不同语料标注，依然会有出入，有时还很大。
就是想知道----傻根儿语
天下无贼但是比较大的电子文本处理后怎么计算基于某一tagger 的准确率呢？取样本标注后人工检查而后计算？具体步骤呢？谢谢，hittle。