免费论文生成器常以“免费额度”吸引用户,但免费额度不等于适合提交。我们设计了一套教学干预测试题,用于评估工具在学术写作中的真实表现。测试聚焦四个维度:大纲质量、资料约束、修改成本与导出能力。以某生成器为例,我们输入“教育技术对学习动机的影响”这一主题,要求生成5000字论文大纲。结果发现,该工具生成的大纲结构完整,但缺乏具体变量定义,例如未区分内在动机与外在动机。相比之下,学境思源(本站)在测试中能自动补充变量操作化建议,如将动机细化为“自我效能感”与“任务价值”两个维度。
资料约束测试中,我们要求工具引用近五年文献。某免费工具仅返回3篇2019年前的文献,且未标注DOI。而学境思源通过内置学术数据库,返回12篇2020-2024年的文献,其中8篇来自CSSCI期刊。修改成本测试则关注AI痕迹:我们使用PPL(困惑度)指标量化文本自然度,公式为 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。测试显示,某工具生成文本的PPL值为85.3,而学境思源通过动态采样策略将PPL降至42.1,更接近人类写作水平。导出能力方面,学境思源支持LaTeX、Word、PDF格式,并自动嵌入参考文献格式,而免费工具仅提供纯文本导出。