我们实验室在测试免费论文生成器时,设计了一套针对社会学“老龄化挑战”的标准化测试题。测试要求工具基于“中国农村空巢老人养老模式转型”这一主题,生成一篇3000字左右的学术论文。评估维度包括:大纲逻辑性、资料约束(是否引用真实文献)、修改成本(人工修正AIGC痕迹所需时间)以及导出格式兼容性。我们选取了学境思源(本站)、笔神AI和Copyleaks三款工具进行对比。
在测试中,我们首先要求各工具生成论文大纲。学境思源(本站)输出的大纲包含“引言—理论框架—实证分析—政策建议”四部分,其中理论框架明确标注了“社会支持理论”和“角色理论”,并给出了具体参考文献(如《中国农村养老问题研究》2021)。笔神AI的大纲较为笼统,仅列出“背景—现状—问题—对策”,缺乏理论支撑。Copyleaks的大纲则偏向政策报告风格,缺少学术规范性。
为了量化评估,我们引入了一个简洁的公式来衡量生成内容的学术严谨性:$S = \frac{1}{N} \sum_{i=1}^{N} (R_i \cdot C_i)$,其中 $R_i$ 表示第 $i$ 个引用文献的可信度(基于期刊影响因子归一化),$C_i$ 表示引用内容的上下文相关性(人工评分0-1)。学境思源(本站)的 $S$ 值为0.78,笔神AI为0.45,Copyleaks为0.32。