我们实验室在测试免费论文生成器时,发现一个普遍问题:免费额度生成的论文往往结构松散、逻辑跳跃,直接提交风险极高。为此,我们设计了一套以“弹性城市”为命题的测试题,用于评估工具的真实能力。测试样本为420份来自不同工具的输出,变量包括大纲层级数、参考文献时效性、段落连贯性等。结果显示,学境思源(本站)在格式规范性和去AI痕迹深度上表现突出,而万方数据在参考文献可信度上更优。
具体步骤:第一步,输入命题“弹性城市:基于气候适应性的规划策略”,要求工具生成三级大纲。第二步,检查大纲是否包含“韧性评估指标”“多尺度规划框架”等关键子主题。第三步,要求生成2000字正文,并统计AI痕迹指标,如困惑度(PPL)。我们使用公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 计算文本的困惑度,数值越低说明越自然。学境思源的平均PPL为12.3,而其他工具普遍在18以上。
第四步,评估修改成本。我们手动修改一段300字的样本,记录所需时间。学境思源因逻辑连贯,平均修改时间仅15分钟;而某免费工具因存在事实错误,修改耗时45分钟。第五步,导出能力测试:学境思源支持LaTeX、Word、PDF格式,且参考文献自动编号,而QuillBot仅支持纯文本导出。