paraconc使用
- 主题发起人 xudekuan
- 时间
oscar3
高级会员
回复: paraconc使用
上传的文本存在如下问题：1)英文有86段，中文有22段。这里段落其实是句级对齐单位。所以上传文本没有做到句级对齐，检索英文检索词的时候，对应的中文文本有重复对应的现象。其实，这样的短文章用EditPlus对齐很容易看出来。自动对齐靠不住，至少自动对齐之后要仔细postedit。
2)象xiaoz上面所说的那样，要想检索中文的词，必须在字之间加空格，或者进行分词处理，或者进一步做词性标注。
至于xiaozi上面说到的编码问题好像默认编码没有出现问题。
上传的文本存在如下问题：1)英文有86段，中文有22段。这里段落其实是句级对齐单位。所以上传文本没有做到句级对齐，检索英文检索词的时候，对应的中文文本有重复对应的现象。其实，这样的短文章用EditPlus对齐很容易看出来。自动对齐靠不住，至少自动对齐之后要仔细postedit。
2)象xiaoz上面所说的那样，要想检索中文的词，必须在字之间加空格，或者进行分词处理，或者进一步做词性标注。
至于xiaozi上面说到的编码问题好像默认编码没有出现问题。
xusun575
高级会员
回复: paraconc使用
谢谢oscar3.多年没玩paraconc了.重复对齐给人以方便,印象中这和旧版有不同.中文检索要加空格或分词很麻烦,paraconc应该改一改了.
oscar3
高级会员
回复: paraconc使用
相关的内容贴在这里，也供自己以后想不起来的时候查询用
对齐是指源文和目的文本在相同的层次上达到对等，如段落层次上对齐，就是源文和目的文本有相同的段落对应；句子层面对齐，就是两者有相同的句级单位；词层对齐不难理解。目前，一般用得比较广的对齐是句级对齐。虽说是句级对齐（并非一一对应，情况有好几种），在文本形态上却是以段落的方式出现的。即回车符成为句级单位的分界线，paraconc中的New line delimiter指的就这一分界线。很多文本处理软件中如EditPlus将我们平常在MS-word中的段落当作行。如果你对齐的时候如此（一般如此），你用Paraconc检索的时候也应该选此分界线，以便软件去自动寻找。当然，你如果嫌麻烦，可以以段为单位对齐也可，不过那样因为对应单位太大，要确定更小，如短语和词的对应翻译单位就麻烦多了。词层对齐比较理想，这也是目前很多技术人员正在解决的问题，但是，颗粒越细，对齐越难。目前，词层对齐技术还没有走出实验室。
相关的内容贴在这里，也供自己以后想不起来的时候查询用
作者 XXXXXX:
对齐是指源文和目的文本在相同的层次上达到对等，如段落层次上对齐，就是源文和目的文本有相同的段落对应；句子层面对齐，就是两者有相同的句级单位；词层对齐不难理解。目前，一般用得比较广的对齐是句级对齐。虽说是句级对齐（并非一一对应，情况有好几种），在文本形态上却是以段落的方式出现的。即回车符成为句级单位的分界线，paraconc中的New line delimiter指的就这一分界线。很多文本处理软件中如EditPlus将我们平常在MS-word中的段落当作行。如果你对齐的时候如此（一般如此），你用Paraconc检索的时候也应该选此分界线，以便软件去自动寻找。当然，你如果嫌麻烦，可以以段为单位对齐也可，不过那样因为对应单位太大，要确定更小，如短语和词的对应翻译单位就麻烦多了。词层对齐比较理想，这也是目前很多技术人员正在解决的问题，但是，颗粒越细，对齐越难。目前，词层对齐技术还没有走出实验室。
回复: paraconc使用
There are repeated lines because I searched for "the", a very frequent word: alignment units which contain repeated use of "the" are repeated while those contains no instance of "the" are ignored.
There are repeated lines because I searched for "the", a very frequent word: alignment units which contain repeated use of "the" are repeated while those contains no instance of "the" are ignored.
