基于事实和语义一致性的生成文本检测

摘要

文本生成技术的恶意滥用问题日益严重,因此生成文本检测技术至关重要.现有的检测方法依赖于基于特定数据集的统计异常特征,从而导致方法的泛化能力较差.本文考虑不同种类生成文本均易出现的事实错误、语义冲突问题,提出了一种基于事实和语义一致性的生成文本检测方法.该方法通过实体将文本和外部知识库进行比较,得到文本的事实一致性特征.另一方面,该方法借助文本蕴含技术对文本上文与下文进行关系推理,得到文本的语义一致性特征.最后将这两类特征与RoBERTa的输出隐藏向量拼接,输入到线性分类层进行预测.实验结果表明,该方法比当前的检测方法具有更高的准确率和泛化能力.