在化学AI初稿的分子合成章节中,我们常遇到看似流畅但无法验证的内容。基于对200篇AI生成论文的审查经验,我们提出五层审查框架:事实层、引用层、方法层、推理层和格式层。事实层需验证反应产率、光谱数据等数值是否与原始文献一致;引用层检查参考文献是否真实存在且支持论点;方法层评估实验步骤的完整性与可重复性;推理层分析逻辑链条是否自洽;格式层确保单位、命名法符合IUPAC标准。例如,我们曾发现一篇AI论文声称某反应产率达95%,但原始文献实际为78%,这种偏差源于AI对数据的错误泛化。
我们实验室在分析某大纲生成器时得出的体验是:AI常忽略反应条件中的温度梯度与催化剂用量细节。例如,在描述Suzuki偶联反应时,AI可能省略了配体比例对产率的影响。为量化这种偏差,我们引入困惑度指标:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,其中$W$为合成步骤序列。当PPL低于阈值时,表明文本过于平滑,可能缺乏真实实验的随机性。我们测试了420个合成步骤,发现AI生成文本的平均PPL为12.3,而人类专家撰写文本为18.7,差异显著。