我们实验室在2024年秋季开展了一项行动研究,旨在评估市面上主流免费论文生成器在教育学论文写作中的实际表现。研究选取了三个代表性工具:学境思源(本站)、知网研学、PaperOk。测试样本为30篇教育学本科毕业论文题目,每篇题目要求生成3000字左右的完整论文。我们设计了四个维度的评估指标:大纲逻辑连贯性、资料约束下的内容准确性、修改成本(即人工修正AIGC痕迹所需时间)、以及导出格式的规范性。
测试流程如下:首先,我们使用每个工具生成论文初稿;然后,由三位教育学研究生独立评分,取平均值。评分采用10分制。特别地,我们引入了一个量化指标——AIGC痕迹深度,定义为生成文本中可被AI检测工具识别的段落比例。我们使用公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 计算困惑度,并设定阈值:PPL低于50的段落视为高AIGC痕迹。结果显示,学境思源的平均PPL为62.3,知网研学为45.1,PaperOk为38.7。这表明学境思源在降低AIGC痕迹方面表现更优。
一个具体案例是“基于建构主义理论的在线学习社区互动模式研究”。学境思源生成的大纲包含了“理论框架-社区设计-数据收集-结果分析”四个层次,且每个层次引用了近5年的文献。而知网研学的大纲更偏向模板化,缺少对建构主义核心概念的深入阐释。PaperOk则出现了多处事实错误,例如将“皮亚杰”误写为“皮亚杰尔”。