求助：如何查询和剔除文本中重复出现的语料

[nuandonglzy]

在语料收集过程中，很可能会重复收集语料，如篇章、句子等。能否使用正则表达式或其他方法检索并剔除重复的语料吗？恳请各位支招。谢谢。