在材料科学AI论文初稿中,晶体缺陷章节常出现看似流畅但无法验证的内容。我们实验室在分析某大纲生成器输出的初稿时,发现其关于位错密度的描述引用了不存在的文献。为此,我们构建了一个五层审查框架:事实层、引用层、方法层、推理层和格式层。
事实层要求核对晶体缺陷类型(点缺陷、线缺陷、面缺陷)的定义是否准确。例如,AI可能将肖特基缺陷与弗仑克尔缺陷混淆。引用层需验证参考文献是否存在,且与内容匹配。方法层检查模拟参数(如分子动力学中的势函数)是否合理。推理层评估逻辑链条,例如从位错滑移推导塑性变形时是否遗漏了临界分切应力条件。格式层确保术语、单位和符号符合规范。
我们测试了420篇材料科学AI初稿,其中约35%的晶体缺陷章节存在至少一处事实错误。例如,某初稿声称“面心立方金属的层错能通常低于10 mJ/m²”,但实际铜的层错能约为45 mJ/m²。这类错误在AI生成内容中常见,需通过交叉验证来定位。