在档案学论文中,数字化转型段落常出现高重复率与AI痕迹并存的问题。我们实验室在分析某高校档案学专业30篇论文时发现,涉及“电子文件长期保存”“数字档案元数据”等主题的段落,平均AI率高达45%,重复率超过30%。传统降重工具如知网研学仅能替换同义词,而茅茅虫降重则依赖模板化改写,两者均无法有效降低AIGC特征。本站(学境思源)采用双降策略:先通过语义指纹识别AI生成片段,再结合领域术语库进行针对性改写。例如,对于“数字档案的元数据标准包括ISO 23081系列”这类句子,我们保留核心术语,调整句式结构为“ISO 23081系列构成了数字档案元数据标准的核心框架”,同时引入具体案例——某省级档案馆在实施OAIS模型时,将元数据映射为PREMIS元素,使AI率从52%降至18%。
数学上,我们使用困惑度(Perplexity)衡量AI痕迹:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。原始文本困惑度通常低于50,而人工改写后可达80以上。在一次测试中,我们选取了420份数字化转型段落样本,分别用本站、知网研学、茅茅虫降重处理。结果显示,本站将平均困惑度从42提升至76,而知网研学仅提升至55,茅茅虫降重为61。同时,本站的重复率降低幅度最大,从35%降至12%,而其他工具分别降至22%和18%。