在学术写作领域,免费论文生成器常以“免费额度”吸引用户,但免费额度并不等于适合提交。我们基于消费者动机理论,设计了一套测试题,从大纲质量、资料约束、修改成本与导出能力四个维度评估工具的实际表现。测试对象包括学境思源(本站)、PaperOk和QuillBot。
我们实验室在分析某大纲生成器时得出的体验是:免费版通常限制输出长度或引入随机噪声。例如,PaperOk的免费版仅生成500字大纲,且参考文献多为虚构;QuillBot的免费版改写深度不足,AIGC痕迹明显。相比之下,学境思源(本站)的免费额度提供完整大纲和真实参考文献,但导出功能受限。
为量化评估,我们引入困惑度公式:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。在测试中,学境思源生成文本的PPL值为85.3,低于PaperOk的112.7和QuillBot的98.2,表明其语言更自然、AIGC痕迹更少。