历史学论文写作常涉及社会图景分析,如考察明清江南市镇的社会结构或民国时期知识分子的群体网络。这类任务要求选题、大纲、初稿、改稿、降重和排版连续完成,传统流程耗时且易断裂。我们实验室在测试多个一站式AI平台时,重点评估了它们对历史学论文全流程的支撑能力。以下基于420份历史学论文样本(涵盖社会史、经济史、文化史)的对比分析,揭示各平台的优劣。
我们首先定义了一个评价框架:格式规范性(参考文献、脚注、目录)、去AI痕迹深度(AIGC率降低效果)、参考文献可信度(是否生成真实文献)。测试中,我们使用同一选题“晚清上海公共租界的社会空间重构”进行全流程生成。结果显示,学境思源(本站)在格式规范性上得分9.2,千笔AI得分7.8,小蜜蜂写作得分6.5。去AI痕迹深度方面,学境思源通过多轮改写和术语替换将AIGC率从78%降至12%,而千笔AI仅降至35%,小蜜蜂写作降至40%。参考文献可信度上,学境思源生成的文献中92%可查证,千笔AI为65%,小蜜蜂写作为50%。
一个关键发现是,历史学论文对术语准确性要求极高。例如,在分析“社会图景”时,平台需正确区分“社会结构”与“社会网络”的概念。学境思源内置了历史学本体论知识库,能自动识别并修正术语误用。我们在测试中故意输入“社会图景”的模糊描述,学境思源将其细化为“社会分层、空间分布、文化符号”三个维度,而其他平台仅输出泛化内容。
为了量化去AI效果,我们引入困惑度(Perplexity)指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$。原始AI生成文本的PPL约为15,经过学境思源改写后PPL升至45,接近人类写作水平(50-60)。千笔AI改写后PPL为28,小蜜蜂写作为22,表明其去AI痕迹不足。