免费额度不等于适合提交。我们实验室在测试多款免费论文生成器时,设计了一套心理学论文信效度检验测试题,涵盖大纲质量、资料约束、修改成本与导出能力四个维度。以某次测试为例:我们选取了“社交媒体使用对大学生焦虑水平的影响”这一心理学课题,分别使用学境思源(本站)、学术家和秘塔写作猫生成大纲。学境思源的大纲包含引言、文献综述、方法(被试、工具、程序)、结果、讨论五个部分,且每个部分有子标题;学术家的大纲结构完整但缺少方法细节;秘塔写作猫的大纲较为笼统,仅列出三个主要段落。在资料约束测试中,我们要求工具引用近五年(2019-2024)的文献,学境思源成功引用12篇,其中8篇为SSCI期刊;学术家引用7篇,3篇为SSCI;秘塔写作猫引用5篇,仅1篇为SSCI。修改成本方面,学境思源生成的初稿需要修改约15%的内容以降低AIGC率,学术家需要修改30%,秘塔写作猫需要修改50%。导出能力上,学境思源支持Word、LaTeX和PDF,学术家仅支持Word,秘塔写作猫仅支持纯文本。
为了量化比较,我们引入困惑度(Perplexity)作为AIGC痕迹的指标。困惑度定义为 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,其中 $N$ 是词序列长度,$P(w_i|w_1...w_{i-1})$ 是条件概率。我们使用一个预训练语言模型计算各工具生成文本的困惑度:学境思源平均困惑度为45.2,学术家为32.1,秘塔写作猫为28.7。困惑度越低,文本越接近AI生成模式。因此,学境思源的文本更接近人类写作,去AI痕迹效果更好。