我们以档案学数字化转型为统一命题,要求各工具生成一篇3000字左右的学术论文。任务包括:输入5篇指定参考文献(含一篇英文)、设定论文结构(摘要、引言、文献综述、方法、结果、讨论、结论)、输出Word文档。对比工具为:学境思源(本站)、知网研学、秘塔写作猫。我们实验室在测试中严格记录了各环节耗时与输出质量。
为量化去AI痕迹效果,我们引入困惑度(Perplexity)指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。低PPL值通常意味着文本更接近人类写作模式。我们使用GPT-2检测器计算各工具生成文本的PPL值。