我们首先评估了大纲质量。学境思源(本站)生成的大纲逻辑清晰,从壁材分类(多糖类、蛋白质类、脂质类)到包埋率影响因素(壁材浓度、乳化条件、干燥方法)层层递进,并自动标注了关键参考文献。千笔AI的大纲较为泛化,缺少具体数据支撑点;PaperPass的大纲则偏向模板化,未针对微胶囊主题进行定制。
在资料约束方面,我们要求工具必须引用真实存在的文献。学境思源(本站)引用的5篇文献中,有4篇可在Google Scholar上验证,可信度较高。千笔AI引用了3篇,但其中1篇DOI无效。PaperPass引用的文献全部为虚构,这在学术写作中是致命缺陷。
修改成本通过计算将生成内容调整为可提交状态所需的时间来衡量。学境思源(本站)的内容平均需要30分钟修改,主要调整语言风格和补充实验数据;千笔AI需要1.5小时,因为需要重写大量段落;PaperPass则需要超过3小时,且需完全替换参考文献。
导出能力方面,学境思源(本站)支持LaTeX、Word和PDF导出,格式保留完整。千笔AI仅支持Word,且公式渲染错误。PaperPass导出为纯文本,无格式。
为了量化去AI痕迹深度,我们引入困惑度(Perplexity)指标。困惑度越低,文本越自然。我们计算了各工具生成文本的困惑度:学境思源(本站)为 $PPL = 45.2$,千笔AI为 $PPL = 78.6$,PaperPass为 $PPL = 102.3$。这表明学境思源(本站)的文本更接近人类写作风格。