在历史学AI论文初稿中,社会图景章节往往充斥着看似流畅但无法验证的陈述。我们实验室在分析某大纲生成器时得出的体验是:AI倾向于生成“平均化”的社会描述,忽略特定时空的异质性。为此,我们设计了五层审查框架:事实层、引用层、方法层、推理层、格式层。
事实层:核对每个具体数据是否可溯源。例如,若AI声称“19世纪伦敦东区工人家庭月均收入为3英镑”,需检查原始普查数据或二手文献。我们曾发现某AI初稿中“1870年曼彻斯特棉纺织厂女工占比65%”实际应为58%(根据Factory Returns 1871)。
引用层:验证参考文献是否存在且页码正确。AI常捏造DOI或混淆作者。例如,某初稿引用“Thompson, E.P. (1963). The Making of the English Working Class. London: Victor Gollancz, p. 213.”,但实际该页内容无关。
方法层:检查社会图景的构建方法是否合理。若使用量化分析,需确认样本代表性。我们处理过一篇关于“明清江南市镇社会结构”的AI初稿,其聚类分析基于42个样本,但实际市镇数量超过300,导致结论偏差。
推理层:审视逻辑链条是否连贯。AI常跳跃式推理,如从“粮食价格上升”直接推出“社会动荡”,忽略中间变量(如工资弹性、救济制度)。我们引入因果图检验,发现某初稿中缺失了“粮价→实际工资→购买力→抗议”的关键环节。
格式层:检查注释、图表、术语一致性。AI初稿常出现“同上”引用无对应前文,或图表标题与正文不符。例如,某初稿图1标题为“1900年上海人口职业分布”,但数据实际为1910年。