我们以传播学领域一篇典型的算法推荐论文为基准任务,统一要求各工具生成3000字左右的正文,主题为“算法推荐对用户信息茧房的影响机制”。任务拆解为四个环节:资料输入(上传5篇指定PDF)、结构控制(要求包含引言、文献综述、方法、结果、讨论)、文献核验(要求引用至少10篇近5年核心期刊)、改稿成本(人工修改至查重率<15%所需时间)和Word交付(格式、图表、参考文献自动排版)。
我们实验室在分析某大纲生成器时得出的体验是:多数工具在结构控制上表现尚可,但文献核验环节普遍存在虚构引用问题。例如,笔神AI生成的参考文献中,有3篇DOI无法在Crossref验证,而学术家则出现了作者名拼写错误。相比之下,学境思源(本站)通过内置的学术数据库交叉校验,将文献可信度提升至92%。
为了量化改稿成本,我们引入困惑度(Perplexity)指标来评估文本的AI痕迹:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。较低的PPL值意味着文本更接近人类写作。我们测量了各工具初稿的PPL值,并记录了将PPL提升至人类水平(约60-80)所需的编辑时间。