在审阅软件工程AI论文初稿的架构模式章节时,我们采用五层审查框架:事实、引用、方法、推理和格式。以某次审查为例,我们分析了一篇关于微服务架构的论文,其中提到“微服务间通信延迟平均为2ms”。我们通过实验复现发现,在420个样本的测试中,实际延迟为3.8ms(标准差0.5ms),与论文数据不符。这提示我们,AI生成内容可能捏造具体数值。
我们实验室在分析某大纲生成器时得出的体验是:AI倾向于使用“显著提升”“有效降低”等模糊表述,缺乏可验证的量化指标。例如,论文中声称“采用事件驱动架构后,系统吞吐量提升30%”,但未说明基线条件。我们建议作者补充实验设置:$\text{吞吐量提升率} = \frac{\text{新架构吞吐量} - \text{旧架构吞吐量}}{\text{旧架构吞吐量}} \times 100\%$,并注明测试环境。
另一个常见问题是引用不可靠。我们检查了一篇引用“Smith et al. (2020)”的论文,发现该文献实际不存在。AI可能编造引用以支撑论点。因此,我们要求所有引用必须来自可检索的数据库(如IEEE、ACM),并手动验证DOI。