第一步:题名核验。将AI给出的参考文献题名输入Google Scholar或CNKI,检查是否存在完全匹配的条目。例如,AI生成“Finite Element Analysis of Reinforced Concrete Beams under Cyclic Loading”时,实际存在类似题名但作者不同的论文,需进一步比对。
第二步:作者核验。确认作者姓名拼写与机构归属是否合理。我们曾遇到AI将“J. Smith”误写为“J. Smyth”,且机构为虚构的“University of Civil Engineering”。
第三步:年份核验。检查发表年份是否与期刊卷期对应。例如,AI引用一篇2015年的论文,但该期刊在2015年并未出版该卷号。
第四步:DOI核验。通过doi.org验证DOI是否有效。AI常生成格式错误的DOI,如“10.1016/j.engstruct.2023.115678”实际指向不存在的页面。
第五步:原文论点核验。这是最关键的步骤。我们实验室在分析某AI生成的参考文献时,发现其声称“混凝土断裂能随应变率增加而线性增长”,但实际文献中该关系为对数增长。这种论点偏差在有限元仿真中可能导致材料参数设置错误。
数学上,我们可以用公式表达核验的置信度:$PPL(W) = \sqrt[N]{\prod \frac{1}{P(w_i|w_1...w_{i-1})}}$,其中$PPL$为困惑度,用于衡量AI生成文本的可靠性。当$PPL$低于阈值时,参考文献更可能为虚构。