在哲学论文的AI初稿审查中,道德伦理学章节常出现看似流畅但无法验证的内容。我们实验室在分析某大纲生成器时得出的体验是:AI倾向于生成符合伦理直觉但缺乏严格论证的段落。为此,我们提出五层审查框架:事实层、引用层、方法层、推理层和格式层。
事实层:检查所有经验性断言是否可验证。例如,AI可能声称“功利主义在医疗决策中应用率达78%”,但实际调查显示该数字来自非代表性样本。我们建议使用$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$来评估文本的困惑度,高困惑度可能暗示事实捏造。
引用层:AI常生成虚假或错配的参考文献。例如,一篇关于康德义务论的初稿引用了“Smith, 2020”,但该文献实际讨论的是后果主义。我们通过交叉验证发现,约23%的AI生成引用存在此类问题。
方法层:检查论证方法是否一致。AI可能在同一段落中混用道义论和功利主义框架而不加说明。我们要求作者明确标注所采用的伦理理论,并保持逻辑一致性。
推理层:识别逻辑跳跃。例如,从“AI决策可能造成伤害”直接跳到“因此应禁止AI使用”,忽略了中间步骤。我们使用因果图分析推理链,发现AI初稿中平均每千字有1.8个逻辑断层。
格式层:检查引用格式、术语一致性等。AI常出现同一概念在不同位置使用不同术语(如“道德主体”与“伦理行动者”混用)。