ilovecorpu
初级会员
各位好！ 我是个新手， 想询问一下，如何使用已标注的语料库？ 如何使用索引工具（antconc 3.1.2)搜索类联接？
如何利用已标注的语料库？
- 主题发起人 ilovecorpu
- 时间
“如何对文本或语料库进行标注？” ---- 这个问题涉及以下几个问题：
1、为什么要标注？ 标注的目的是为了什么样的研究目的？ 比如，基于生语料的 concordances 就能解决的问题就没有必要去做音韵、词类、句法、语义、语用等标注，原因很简单：劳民伤财！
2、要标注什么？ 音韵？ 词类？ 语义？ 句法？.......
3、生语料本身的特性、质量能达到标注要求吗？ 需不需要做到语料转换，如从HTML或Word文档到纯文本？ 如何转换？ 怎样才能保证在转换过程中没有信息失真？
3、要怎样标注？ 人工还是自动？ 不管是人工还是自动，工作能力、时间、资金能得到保证吗？ 如果单纯人工，所需语料的量就得打折扣了。如果是自动，可以利用和负担得起的工具又有哪些？为什么要选用其中的特定的一个？ 而且，所谓自动标注的工具，没有几个能真正自动的，能真正自动的准确率也各有千秋，生语料的特性、质量等也影响标注的正确率。因此，紧接着的一个问题就是：
5、要达到怎样的标注质量？ 需不需要进行标注后的 post-editing ？ 这又要涉及到人力、物力和时间等问题。
总之，语料的标注是个累人的活，费时、费钱、费力，没有想好前面的问题最好不要匆忙动手。
1、为什么要标注？ 标注的目的是为了什么样的研究目的？ 比如，基于生语料的 concordances 就能解决的问题就没有必要去做音韵、词类、句法、语义、语用等标注，原因很简单：劳民伤财！
2、要标注什么？ 音韵？ 词类？ 语义？ 句法？.......
3、生语料本身的特性、质量能达到标注要求吗？ 需不需要做到语料转换，如从HTML或Word文档到纯文本？ 如何转换？ 怎样才能保证在转换过程中没有信息失真？
3、要怎样标注？ 人工还是自动？ 不管是人工还是自动，工作能力、时间、资金能得到保证吗？ 如果单纯人工，所需语料的量就得打折扣了。如果是自动，可以利用和负担得起的工具又有哪些？为什么要选用其中的特定的一个？ 而且，所谓自动标注的工具，没有几个能真正自动的，能真正自动的准确率也各有千秋，生语料的特性、质量等也影响标注的正确率。因此，紧接着的一个问题就是：
5、要达到怎样的标注质量？ 需不需要进行标注后的 post-editing ？ 这又要涉及到人力、物力和时间等问题。
总之，语料的标注是个累人的活，费时、费钱、费力，没有想好前面的问题最好不要匆忙动手。
回复：如何利用已标注的语料库？
1、GotoTagger的准确率：
我只是看了看Gototagger，没有拿它实际处理语料，不敢妄作评论。开发者说是基于广泛用在自然语言处理上的Brill Tagger的，因此该Tagger属于Rule-Based 。请找它的相关技术报告或文献里面的说明看看。也不妨自己动手与其它Tagger就同一语料进行标注，然后对比一下。
2、关于POS Tagger的分类和技术支持：
请参见Automated Part of Speech Tagging: A Brief Overview （文章有点旧了，但内容还是很经典的）
http://www.georgetown.edu/faculty/ballc/ling361/tagging_overview.html
3、Post-Editing：
先要知道哪里出现问题，才能考虑怎样着手去修改。有些错误是系统性的，有些是随机的。由于大多数人是不会或不愿去修改原程序的，因此不管是系统性的还是随机的错误都得靠编辑器来人工修改。也就是用EditPlus这类文本编辑器打开机器标注好的结果，通过Search and Replace来实现修改。
4、CLAWS Tagger：
处理英文的POS Tagger， 还是推荐用在BNC上的CLAWS Tagger。这里是关于其准确率的介绍“CLAWS has consistently achieved 96-97% accuracy (the precise degree of accuracy varying according to the type of text). Judged in terms of major categories, the system has an error-rate of only 1.5%, with c.3.3% ambiguities unresolved, within the BNC.” 详情请参阅：CLAWS part-of-speech tagger for English
http://www.comp.lancs.ac.uk/ucrel/claws/
5、语料标注的准确率和研究结果的说服力：
没有100%准确的，而且语料和文本类别对标注结果影响很大；因此，研究结果说服力大小，仁者见仁，智者见智。
1、GotoTagger的准确率：
我只是看了看Gototagger，没有拿它实际处理语料，不敢妄作评论。开发者说是基于广泛用在自然语言处理上的Brill Tagger的，因此该Tagger属于Rule-Based 。请找它的相关技术报告或文献里面的说明看看。也不妨自己动手与其它Tagger就同一语料进行标注，然后对比一下。
2、关于POS Tagger的分类和技术支持：
请参见Automated Part of Speech Tagging: A Brief Overview （文章有点旧了，但内容还是很经典的）
http://www.georgetown.edu/faculty/ballc/ling361/tagging_overview.html
3、Post-Editing：
先要知道哪里出现问题，才能考虑怎样着手去修改。有些错误是系统性的，有些是随机的。由于大多数人是不会或不愿去修改原程序的，因此不管是系统性的还是随机的错误都得靠编辑器来人工修改。也就是用EditPlus这类文本编辑器打开机器标注好的结果，通过Search and Replace来实现修改。
4、CLAWS Tagger：
处理英文的POS Tagger， 还是推荐用在BNC上的CLAWS Tagger。这里是关于其准确率的介绍“CLAWS has consistently achieved 96-97% accuracy (the precise degree of accuracy varying according to the type of text). Judged in terms of major categories, the system has an error-rate of only 1.5%, with c.3.3% ambiguities unresolved, within the BNC.” 详情请参阅：CLAWS part-of-speech tagger for English
http://www.comp.lancs.ac.uk/ucrel/claws/
5、语料标注的准确率和研究结果的说服力：
没有100%准确的，而且语料和文本类别对标注结果影响很大；因此，研究结果说服力大小，仁者见仁，智者见智。
[本贴已被 作者 于 2006年03月14日 11时58分40秒 编辑过]