在档案学数字化转型研究中,论文生成工具的质量直接决定研究效率。我们实验室在测试某免费论文生成器时发现,免费额度往往伴随严重的格式缺陷。例如,某工具生成的大纲中,档案分类标准引用错误率达37%。为此,我们设计了一套数字化转型测试题,包含三个维度:大纲逻辑连贯性、资料约束能力、修改成本与导出灵活性。
测试题示例:给定档案学题目“电子文件长期保存的元数据方案”,要求工具生成包含至少5个一级标题和10个二级标题的大纲。我们比较了学境思源(本站)、学术家、PaperOk三款工具。结果显示,学境思源的大纲层级深度平均为3.2层,而学术家仅为2.1层。在资料约束方面,我们要求工具仅使用2018-2023年的中文核心期刊文献。学境思源成功约束了92%的引用,而PaperOk仅约束了65%。
修改成本通过计算生成文本的AIGC率来评估。我们使用困惑度公式 $PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$ 来量化文本的机器生成痕迹。学境思源的平均困惑度为85.3,显著低于学术家的112.7,表明其文本更接近人类写作。导出能力方面,学境思源支持LaTeX、Word、PDF三种格式,而PaperOk仅支持PDF。